嵌入式监控【v4l2采集-＞vpu编码-＞live555推流】

嵌入式监控【v4l2采集->vpu编码->live555推流】

文章目录

• 嵌入式监控【v4l2采集->vpu编码->live555推流】
• 介绍
• 数据流图
• 一、v4l2
• 1.1 确定cam的输出格式
• 1.2 YUYV 转 YUV420
• 1.3 播放采集到的yuv420数据
• 二、vpu硬编码
• 2.1 使用mxc_vpu_test.out 硬件编码h264
• 三、使用live555MediaServer推流
• 总结

在上一博客中介绍了视频监控的采用库和相关架构，这篇博客作为优化和补充，主要优化的地方为由v4l2代替opencv的采集，由vpu编码代替x264

介绍

应为x264在arm a9开发版中占用大量cpu资源，导致视频卡顿，所以决定采用使用v4l2来采集uvc数据，使用vpu编码。
开发版为imx6q，版载有vpu/ipu,可以代替x264的软算法，释放cpu资源。

数据流图

v4l2 -> yuyv -> yuv420 -> vpu -> h264
数据流验证过程：

1. v4l2采集yuyv数据，写入到文件，使用pyuv播放验证
2. 转码yuyv到yuv420后，写入到文件，使用pyuv播放验证
3. 将yuv420文件使用vpu编码为h264后，使用live555推流，vlc远程播放验证

一、v4l2

此处为了精简采集uvc（usb video cam）的采集过程，直接使用v4l2采集，而没有使用opencv，opencv采集的数据Mat(RGB)需要在二次转化。

1.1 确定cam的输出格式

摄象头有两种，一种是模组形式，他的输出格式多为MJPG，另一种是uvc形式，他的输出格式为yuyv(422).
如何判断摄象头类型？一般使用usb接口的摄象头为uvc，而内嵌到板子上的多为MJPG，可以使用命令工具v4l2-ctl来判断.

下面是我的usb 罗技摄象头：

root@zjy-T440:~/workStation/crossGcc/vpu/mxc_vpu_test# v4l2-ctl -d /dev/video0 --all
Driver Info (not using libv4l2):
	Driver name   : uvcvideo
	Card type     : Integrated Camera: Integrated C
	Bus info      : usb-0000:00:14.0-8
	Driver version: 5.3.18
	Capabilities  : 0x84A00001
		Video Capture
		Metadata Capture
		Streaming
		Extended Pix Format
		Device Capabilities
	Device Caps   : 0x04200001
		Video Capture
		Streaming
		Extended Pix Format
Priority: 2
Video input : 0 (Camera 1: ok)
Format Video Capture:
	Width/Height      : 640/480
	Pixel Format      : 'YUYV'
	Field             : None
	Bytes per Line    : 1280
	Size Image        : 614400
	Colorspace        : sRGB
	Transfer Function : Default (maps to sRGB)
	YCbCr/HSV Encoding: Default (maps to ITU-R 601)
	Quantization      : Default (maps to Limited Range)
	Flags             : 
Crop Capability Video Capture:
	Bounds      : Left 0, Top 0,