基于ZedBoard的Webcam设计(一)：USB摄像头(V4L2接口)的图片采集

                                 基于ZedBoard的Webcam设计(一)：USB摄像头(V4L2接口)的图片采集

一直想把USB摄像头接到Zedboard上，搭建一个简易视频监控系统方便后续做视频处理。Xilinx官方给出了一个Webcam摄像头监控的例子，跑的是linaro，不知道是我的SD卡问题还是摄像头的问题，播放视频的时候总是会很卡，而且突然系统就死掉了。还是很喜欢自己动手，能学到新东西。Digilent官方给的OOB设计，那个精简的linux足够做简单的linux开发了，而且OOB设计中USB驱动和V4L(Video for Linux)都提供好了。这几天找了一些的V4L的资料，完成了摄像头的单帧图片采集，接下来要做的是QT界面显示和视频流的显示了，最终的计划是完成视频采集、编码、存储和以太网传输。希望能有时间和精力完成这么多。先把这几天的做的东西整理出来和大家分享。为了方便大家对程序的理解，先简单介绍一下linux下的V4L2的一些知识，然后再详细介绍V4L2编程。

原创)基于ZedBoard的Webcam设计(一)：USB摄像头(V4L2接口)的图片采集  

(原创)基于ZedBoard的Webcam设计(二)：USB摄像头图片采集+QT显示  

(原创)基于ZedBoard的Webcam设计(三)：视频的采集和动态显示  

(原创)基于ZedBoard的Webcam设计(四)：MJPG编码和AVI封装  

(原创)基于ZedBoard的Webcam设计(五)：x264编码在zedboard上的实现(软编码)

硬件平台：Digilent ZedBoard + USB 摄像头

开发环境：Windows XP 32 bit + Wmare 8.0 + Ubuntu 10.04 + arm-linux-xilinx-gnueabi交叉编译环境

Zedboard linux: Digilent OOB Design 

 

一、一些知识

 1、V4L和V4L2。

V4L是Linux环境下开发视频采集设备驱动程序的一套规范(API)，它为驱动程序的编写提供统一的接口，并将所有的视频采集设备的驱动程序都纳入其的管理之中。V4L不仅给驱动程序编写者带来极大的方便，同时也方便了应用程序的编写和移植。V4L2是V4L的升级版，由于我们使用的OOB是3.3的内核，不再支持V4L，因而编程不再考虑V4L的api和参数定义。

2、YUYV与RGB24

RGB是一种颜色的表示法，计算机中一般采用24位来存储，每个颜色占8位。YUV也是一种颜色空间，为什么要出现YUV,主要有两个原因，一个是为了让彩色信号兼容黑白电视机，另外一个原因是为了减少传输的带宽。YUV中，Y表示亮度，U和V表示色度，总之它是将RGB信号进行了一种处理，根据人对亮度更敏感些，增加亮度的信号，减少颜色的信号，以这样“欺骗”人的眼睛的手段来节省空间。YUV到RGB颜色空间转换关系是：

R = Y + 1.042*(V-128);
G = Y - 0.34414*(U-128) - 0.71414*(V-128);
B = Y + 1.772*(U-128);

YUV的格式也很多，不过常见的就是422、420等。YUYV就是422形式，简单来说就是，两个像素点P1、P2本应该有Y1、U1、V1和Y2、U2、V2这六个分量，但是实际只保留Y1、U1、Y2、V2。

图1 YUYV像素

二、应用程序设计

先定义一些宏和结构体，方便后续编程

 1 #define  TRUE    1
 2 #define  FALSE    0
 3 
 4 #define FILE_VIDEO     "/dev/video0"
 5 #define BMP          "/usr/image_bmp.bmp"
 6 #define YUV            "/usr/image_yuv.yuv"
 7 
 8 #define  IMAGEWIDTH    640
 9 #define  IMAGEHEIGHT   480
10 
11 static   int      fd;
12 static   struct   v4l2_capability   cap;
13 struct v4l2_fmtdesc fmtdesc;
14 struct v4l2_format fmt,fmtack;
15 struct v4l2_streamparm setfps;  
16 struct v4l2_requestbuffers req;
17 struct v4l2_buffer buf;
18 enum v4l2_buf_type type;
19 unsigned char frame_buffer[IMAGEWIDTH*IMAGEHEIGHT*3];

其中

#define FILE_VIDEO     "/dev/video0"

是要访问的摄像头设备，默人都是/dev/video0

#define BMP          "/usr/image_bmp.bmp"
#define YUV          "/usr/image_yuv.yuv"

是采集后存储的图片，为了方便测试，这里将直接获取的yuv格式数据也保存成文件，可以通过yuvviewer等查看器查看。

static   int      fd;
static   struct   v4l2_capability   cap;
struct v4l2_fmtdesc fmtdesc;
struct v4l2_format fmt,fmtack;
struct v4l2_streamparm setfps;  
struct v4l2_requestbuffers req;
struct v4l2_buffer buf;
enum v4l2_buf_type type;

这些结构体的定义都可以从/usr/include/linux/videodev2.h中找到定义，具体含义在后续编程会做相应解释。

#define  IMAGEWIDTH    640
#define  IMAGEHEIGHT   480

为采集图像的大小。

定义一个frame_buffer，用来缓存RGB颜色数据

unsigned char frame_buffer[IMAGEWIDTH*IMAGEHEIGHT*3]

 这些宏和定义结束后，就可以开始编程配置摄像头并采集图像了。一般来说V4L2采集视频数据分为五个步骤：首先，打开视频设备文件，进行视频采集的参数初始化，通过V4L2接口设置视频图像的采集窗口、采集的点阵大小和格式;其次，申请若干视频采集的帧缓冲区，并将这些帧缓冲区从内核空间映射到用户空间，便于应用程序读取/处理视频数据;第三，将申请到的帧缓冲区在视频采集输入队列排队，并启动视频采集;第四，驱动开始视频数据的采集，应用程序从视频采集输出队列取出帧缓冲区，处理完后，将帧缓冲区重新放入视频采集输入队列，循环往复采集连续的视频数据;第五，停止视频采集。在本次设计中，定义了三个函数实现对摄像头的配置和采集。

int init_v4l2(void);
int v4l2_grab(void);
int close_v4l2(void);

同时由于采集到的图像数据是YUYV格式，需要进行颜色空间转换，定义了转换函数。

int yuyv_2_rgb888(void);

下面就详细介绍这几个函数的实现。

1、初始化V4l2

(1)打开视频。linux对摄像头的访问和普通设备一样，使用open函数就可以，返回值是设备的id。

1 if ((fd = open(FILE_VIDEO, O_RDWR)) == -1) 
2 {
3     printf("Error opening V4L interface\n");
4     return (FALSE);
5 }

(2)读video_capability中信息。通过调用IOCTL函数和接口命令VIDIOC_QUERYCAP查询摄像头的信息，结构体v4l2_capability中有包括驱动名称driver、card、bus_info、version以及属性capabilities。这里我们需要检查一下是否是为视频采集设备V4L2_CAP_VIDEO_CAPTURE以及是否支持流IO操作V4L2_CAP_STREAMING。