v4l2应用

V4L2 编程
1. 定义
 
V4L2(Video For Linux Two) 是内核提供给应用程序访问音、视频驱动的统一接口。
 
 
2. 工作流程：
 
打开设备－> 检查和设置设备属性－> 设置帧格式－> 设置一种输入输出方法（缓冲区管理）－> 循环获取数据－> 关闭设备。
 
3. 设备的打开和关闭：
 
 
#include <fcntl.h>
int open(const char *device_name, int flags);
 
#include <unistd.h>
int close(int fd);
例：
int fd=open(“/dev/video0”,O_RDWR);// 打开设备
close(fd);// 关闭设备
 
注意：V4L2 的相关定义包含在头文件<linux/videodev2.h> 中.
 
4. 查询设备属性： VIDIOC_QUERYCAP
 
相关函数：
int ioctl(int fd, int request, struct v4l2_capability *argp);
相关结构体：
struct v4l2_capability
{
__u8 driver[16]; // 驱动名字
__u8 card[32]; // 设备名字
__u8 bus_info[32]; // 设备在系统中的位置
__u32 version; // 驱动版本号
__u32 capabilities; // 设备支持的操作
__u32 reserved[4]; // 保留字段
};
capabilities 常用值:
V4L2_CAP_VIDEO_CAPTURE // 是否支持图像获取
 
例：显示设备信息
struct v4l2_capability cap;
ioctl(fd,VIDIOC_QUERYCAP,&cap);
printf(“Driver Name:%s/nCard Name:%s/nBus info:%s/nDriver Version:%u.%u.%u/n”,cap.driver,cap.card,cap.bus_info,(cap.version>>16)&0XFF, (cap.version>>8)&0XFF,cap.version&OXFF);
 
5. 帧格式：
 
VIDIOC_ENUM_FMT // 显示所有支持的格式
int ioctl(int fd, int request, struct v4l2_fmtdesc *argp);
struct v4l2_fmtdesc
{
__u32 index; // 要查询的格式序号，应用程序设置
enum v4l2_buf_type type; // 帧类型，应用程序设置
__u32 flags; // 是否为压缩格式
__u8 description[32]; // 格式名称
__u32 pixelformat; // 格式
__u32 reserved[4]; // 保留
};
例：显示所有支持的格式
struct v4l2_fmtdesc fmtdesc;
fmtdesc.index=0;
fmtdesc.type=V4L2_BUF_TYPE_VIDEO_CAPTURE;
printf("Support format:/n");
while(ioctl(fd,VIDIOC_ENUM_FMT,&fmtdesc)!=-1)
{
printf("/t%d.%s/n",fmtdesc.index+1,fmtdesc.description);
fmtdesc.index++;
}
 
// 查看或设置当前格式
VIDIOC_G_FMT, VIDIOC_S_FMT
// 检查是否支持某种格式
VIDIOC_TRY_FMT
int ioctl(int fd, int request, struct v4l2_format *argp);
struct v4l2_format
{
enum v4l2_buf_type type;// 帧类型，应用程序设置
union fmt
{
struct v4l2_pix_format pix;// 视频设备使用
struct v4l2_window win;
struct v4l2_vbi_format vbi;
struct v4l2_sliced_vbi_format sliced;
__u8 raw_data[200];
};
};
 
struct v4l2_pix_format
{
__u32 width; // 帧宽，单位像素
__u32 height; // 帧高，单位像素
__u32 pixelformat; // 帧格式
enum v4l2_field field;
__u32 bytesperline;
__u32 sizeimage;
enum v4l2_colorspace colorspace;
__u32 priv;
};
例：显示当前帧的相关信息
struct v4l2_format fmt;
fmt.type=V4L2_BUF_TYPE_VIDEO_CAPTURE;
ioctl(fd,VIDIOC_G_FMT,&fmt);
printf(“Current data format information:/n/twidth:%d/n/theight:%d/n”,fmt.fmt.width,fmt.fmt.height);
struct v4l2_fmtdesc fmtdesc;
fmtdesc.index=0;
fmtdesc.type=V4L2_BUF_TYPE_VIDEO_CAPTURE;
while(ioctl(fd,VIDIOC_ENUM_FMT,&fmtdesc)!=-1)
{
if(fmtdesc.pixelformat & fmt.fmt.pixelformat)
{
printf(“/tformat:%s/n”,fmtdesc.description);
break;
}
fmtdesc.index++;
}
例：检查是否支持某种帧格式
struct v4l2_format fmt;
fmt.type=V4L2_BUF_TYPE_VIDEO_CAPTURE;
fmt.fmt.pix.pixelformat=V4L2_PIX_FMT_RGB32;
if(ioctl(fd,VIDIOC_TRY_FMT,&fmt)==-1)
if(errno==EINVAL)
printf(“not support format RGB32!/n”);
 
6. 图像的缩放
 
VIDIOC_CROPCAP
int ioctl(int fd, int request, struct v4l2_cropcap *argp);
struct v4l2_cropcap
{
enum v4l2_buf_type type;// 应用程序设置
struct v4l2_rect bounds;// 最大边界
struct v4l2_rect defrect;// 默认值
struct v4l2_fract pixelaspect;
};
 
 
// 设置缩放
VIDIOC_G_CROP,VIDIOC_S_CROP
int ioctl(int fd, int request, struct v4l2_crop *argp);
int ioctl(int fd, int request, const struct v4l2_crop *argp);
struct v4l2_crop
{
enum v4l2_buf_type type;// 应用程序设置
struct v4l2_rect c;
}
 
7. 申请和管理缓冲区，应用程序和设备有三种交换数据的方法，直接 read/write ，内存映射 (memory mapping) ，用户指针。这里只讨论 memory mapping.
// 向设备申请缓冲区
VIDIOC_REQBUFS
int ioctl(int fd, int request, struct v4l2_requestbuffers *argp);
struct v4l2_requestbuffers
{
__u32 count; // 缓冲区内缓冲帧的数目
enum v4l2_buf_type type; // 缓冲帧数据格式
enum v4l2_memory memory; // 区别是内存映射还是用户指针方式
__u32 reserved[2];
};
 
enum v4l2_memoy {V4L2_MEMORY_MMAP,V4L2_MEMORY_USERPTR};
//count,type,memory 都要应用程序设置
例：申请一个拥有四个缓冲帧的缓冲区
struct v4l2_requestbuffers req;
req.count=4;
req.type=V4L2_BUF_TYPE_VIDEO_CAPTURE;
req.memory=V4L2_MEMORY_MMAP;
ioctl(fd,VIDIOC_REQBUFS,&req);
 
获取缓冲帧的地址，长度：
VIDIOC_QUERYBUF
int ioctl(int fd, int request, struct v4l2_buffer *argp);
struct v4l2_buffer
{
__u32 index; //buffer 序号
enum v4l2_buf_type type; //buffer 类型
__u32 byteused; //buffer 中已使用的字节数
__u32 flags; // 区分是MMAP 还是USERPTR
enum v4l2_field field;
struct timeval timestamp;// 获取第一个字节时的系统时间
struct v4l2_timecode timecode;
__u32 sequence; // 队列中的序号
enum v4l2_memory memory;//IO 方式，被应用程序设置
union m
{
__u32 offset;// 缓冲帧地址，只对MMAP 有效
unsigned long userptr;
};
__u32 length;// 缓冲帧长度
__u32 input;
__u32 reserved;
};
 
MMAP ，定义一个结构体来映射每个缓冲帧。
Struct buffer
{
void* start;
unsigned int length;
}*buffers;
 
#include <sys/mman.h>
void *mmap(void *addr, size_t length, int prot, int flags, int fd, off_t offset);
//addr 映射起始地址，一般为NULL ，让内核自动选择
//length 被映射内存块的长度
//prot 标志映射后能否被读写，其值为PROT_EXEC,PROT_READ,PROT_WRITE, PROT_NONE
//flags 确定此内存映射能否被其他进程共享，MAP_SHARED,MAP_PRIVATE
//fd,offset, 确定被映射的内存地址
返回成功映射后的地址，不成功返回MAP_FAILED ((void*)-1);
 
int munmap(void *addr, size_t length);// 断开映射
//addr 为映射后的地址，length 为映射后的内存长度
 
例：将四个已申请到的缓冲帧映射到应用程序，用buffers 指针记录。
buffers = (buffer*)calloc (req.count, sizeof (*buffers));
if (!buffers) {
fprintf (stderr, "Out of memory/n");
exit (EXIT_FAILURE);
}
// 映射
for (unsigned int n_buffers = 0; n_buffers < req.count; ++n_buffers) {
struct v4l2_buffer buf;
memset(&buf,0,sizeof(buf));
buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
buf.memory = V4L2_MEMORY_MMAP;
buf.index = n_buffers;
// 查询序号为n_buffers 的缓冲区，得到其起始物理地址和大小
if (-1 == ioctl (fd, VIDIOC_QUERYBUF, &buf))
exit(-1);
buffers[n_buffers].length = buf.length;
// 映射内存
buffers[n_buffers].start =mmap (NULL,buf.length,PROT_READ | PROT_WRITE ,MAP_SHARED,fd, buf.m.offset);
if (MAP_FAILED == buffers[n_buffers].start)
exit(-1);
}
 
8. 缓冲区处理好之后，就可以开始获取数据了
 
// 启动/ 停止数据流
VIDIOC_STREAMON,VIDIOC_STREAMOFF
int ioctl(int fd, int request, const int *argp);
//argp 为流类型指针，如V4L2_BUF_TYPE_VIDEO_CAPTURE.
在开始之前，还应当把缓冲帧放入缓冲队列：
VIDIOC_QBUF// 把帧放入队列
VIDIOC_DQBUF// 从队列中取出帧
int ioctl(int fd, int request, struct v4l2_buffer *argp);
例：把四个缓冲帧放入队列，并启动数据流
unsigned int i;
enum v4l2_buf_type type;
// 将缓冲帧放入队列
for (i = 0; i < 4; ++i)
{
struct v4l2_buffer buf;
buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
buf.memory = V4L2_MEMORY_MMAP;
buf.index = i;
ioctl (fd, VIDIOC_QBUF, &buf);
}
type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
ioctl (fd, VIDIOC_STREAMON, &type);
 
// 这有个问题，这些buf 看起来和前面申请的buf 没什么关系，为什么呢?
 
 
例：获取一帧并处理
struct v4l2_buffer buf;
CLEAR (buf);
buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
buf.memory = V4L2_MEMORY_MMAP;
// 从缓冲区取出一个缓冲帧
ioctl (fd, VIDIOC_DQBUF, &buf);
// 图像处理
process_image (buffers[buf.index].start);
// 将取出的缓冲帧放回缓冲区
ioctl (fd, VIDIOC_QBUF, &buf);


二，
v4l2 操作实际上就是 open() 设备， close() 设备，以及中间过程的 ioctl() 操作。对于 ioctl 的调用，要注意对 errno 的判断，如果调用被其他信号中断，即 errno 等于 EINTR 的时候，要重新调用。
Video capture device 的实际功能就是采集视频信号，并将数字化的图像保存在 memory 中，现在几乎上所有的相关设备都能采集 25/30 帧 /s 。在下面的讨论中，我只列举出一些和 camera 密切相关的一些属性和方法。
1 、 open_device
打开设备一般都是使用 open() 打开 /dev 下的 video 设备文件 ，比如说 /dev/video1, 打开之前首先要对相应的设备文件进行检查 ，比如说使用stat() 获得文件属性，并判断是否为字符设备文件。
驱动通过主设备号 81 和 0 ～ 255 之间的次设备号来注册 device note ，系统 管理 员通过设备的主次设备号在 /dev 目录下创建相应的字符设备文件。应用 程序不能通过设备的主次设备号来打开设备，而必须通过适当的 device name ，即 /dev 目录下的设备文件来打开设备。
v4l2 支持一个设备文件可以被多次打开，却只允许其中一个应用程序与设备进行数据 交换 ，其他应用程序只能用来设定一些设备参数，对设备进行一些控制。
//====== 相关 spec ： http://v4l2spec.bytesex.org/spec/c174.htm#OPEN
2 、 init_device
对设备进行初始化是一个很复杂的过程，其中要进行一系列参数的协商，其中重要的包括 v4l2_capability, v4l2_cropcap, v4l2_format 等等。
首先使用 VIDIOC_QUERYCAP 命令 来获得当前设备的各个属性，查看设备对各项功能的支持程度：
int ioctl(int fd, int request, struct v4l2_capability *argp);
所有的 v4l2 驱动都必须支持 VIDIOC_QUERYCAP ， 而且在打开设备以后，这个 ioctl 必须是被首先调用的。
v4l2_capability 的各项参数可以查 API ，其中比较重要的是下面的成员变量：
_u32 capabilities
这个 32 位无符号整型定义了当前设备对一些关键属性的支持：
V4L2_CAP_VIDEO_CAPTURE 0x00000001
// 这个设备支持 video capture 的接口，即这个设备具备 video capture 的功能
V4L2_CAP_VIDEO_OUTPUT 0x00000002
// 这个设备支持 video output 的接口，即这个设备具备 video output 的功能
V4L2_CAP_VIDEO_OVERLAY 0x00000004
// 这个设备支持 video overlay 的接口，即这个设备具备 video overlay 的功能 ，在这个功能下会将采集到的 imag 方在视频设备的 meomory 中保存，并直接在屏幕上显示，而不需要经过其他的处理。
V4L2_CAP_VIDEO_OUTPUT_OVERLAY 0x00000200
// 这个设备支持 video output overlay( 又名 On-Screen Display) ，这是一个实验性的功能， spec 说明他在将来可能会改变，如果打开这个功能必须将 video overlay 功能给关闭，反之亦然
V4L2_CAP_READWRITE 0x01000000
// 这个设备是否支持 read() 和 write() I/O 操作函数
V4L2_CAP_STREAMING 0x04000000
// 这个设备是否支持 streaming I/O 操作函数
在实际操作过程中，可以将取得的 capabilites 与这些宏进行与远算来判断设备是否支持相应的功能。
除了 VIDIOC_QUERYCAP 之外，设备其他属性的获得可以通过其他的命令，比如说 VIDIOC_ENUMINPUT 和 VIDIOC_ENUMOUTPUT 可以枚举出设备的输入输出物理连接。
//============== 相关 spec ： http://v4l2spec.bytesex.org/spec/x282.htm
 
获得 device 的 capability 以后，可以根据应用程序的功能要求对设备参数进行一系列的设置 ，这些参数又分为两部分，一个是 user contrl ，还一个是 extended control ，下面先来讲对 user contrl 的一些参数进行设置。
User control 参数包含一个 ID ，以及相应的 Type ，下面对各个 type 进行简单的列举：
ID Type
V4L2_CID_BASE
// 第一个预定义的 ID ，实际等于 V4L2_CID_BRIGHTNESS ，因为 V4L2_CID_BRIGHTNESS 是第一个预定义的 ID
V4L2_CID_USER_BASE
// 实际上等同于 V4L2_CID_BASE
V4L2_CID_BRIGHTNESS integer
// 图片的亮度，或者说黑色位准
V4L2_CID_AUTO_WHITE_BALANCE boolean
//camera 的自动白平衡
V4L2_CID_EXPOSURE integer
//camera 的爆光时间
V4L2_CID_LASTP1
// 最后一个预定义的 ID ，实际等于上一个 ID ＋ 1
V4L2_CID_PRIVATE_BASE
// 第一个 driver 定义的一般 control ID
可以通过 VIDIOC_QUERYCTRL 和 VIDIOC_QUERYMENU ioctls 来枚举出有效的 control ID ，及其属性，比如说 ID 值，类型，是否有效，是否可修改，最大值，最小值，步长等等 ，主要的数据结构是 v4l2_queryctrl 和 v4l2_querymenu ，他们的结构可以参考 spec 。另外可以通过V4L2_CID_BASE 和 V4L2_CID_LASTP1 可以枚举出所有的预定义 control ID ，可以通过 V4L2_CID_PRIVATE_BASE 来枚举出所有的驱动定义的 control ID 。 Menu 实际上是同一个 ID 可能具有多个选项的目录。
int ioctl(int fd, int request,struct v4l2_queryctrl *argp);
int ioctl(int fd, int request, struct v4l2_querymenu *argp);
获得 user control ID 以后，可以对其中可以修改的 ID 按照应用程序的要求进行修改 VIDIOC_G_CTRL, VIDIOC_S_CTRL ：
int ioctl(int fd, int request, struct v4l2_control *argp);
v4l2_control 的结构比较简单，就是相应的 ID 及其 value 。
//========== 相关 spec ： http://v4l2spec.bytesex.org/spec/x542.htm
 
除了 user control 之外还有一个就是扩展控制，扩展控制可以同时原子的对多个 ID 进行 control ，相关命令是三个： VIDIOC_G_EXT_CTRLS, VIDIOC_S_EXT_CTRLS 和 VIDIOC_TRY_EXT_CTRLS ：
int ioctl(int fd, int request, struct v4l2_ext_controls *argp);
其中最重要的是 v4l2_ext_controls 这个数据结构，它包含几个内容：
__u32 ctrl_class
// 现在 spec 中只定义了两种类型的 class ： V4L2_CTRL_CLASS_USER 和 V4L2_CTRL_CLASS_MPEG
__u32 count
//ctrl 数组中的 control ，即 v4l2_ext_control 的个数
struct v4l2_ext_control * controls
//control 数组， v4l2_ext_control 包含要设定的 ID ，以及 value
应用程序可以使用 V4L2_CTRL_FLAG_NEXT_CTRL 来对扩展 control 进行枚举， V4L2_CTRL_FLAG_NEXT_CTRL 返回下一个 ID 更高的control ID ：
struct v4l2_queryctrl qctrl;
qctrl.id = V4L2_CTRL_FLAG_NEXT_CTRL;
while (0 == ioctl (fd, VIDIOC_QUERYCTRL, &qctrl)) {
 
qctrl.id |= V4L2_CTRL_FLAG_NEXT_CTRL;
}
要枚举指定的 control class 中的 control 可以使用下面的方法：
qctrl.id = V4L2_CTRL_CLASS_MPEG | V4L2_CTRL_FLAG_NEXT_CTRL;
while (0 == ioctl (fd, VIDIOC_QUERYCTRL, &qctrl)) {
if (V4L2_CTRL_ID2CLASS (qctrl.id) != V4L2_CTRL_CLASS_MPEG)
break;
 
qctrl.id |= V4L2_CTRL_FLAG_NEXT_CTRL;
}
当然前提是驱动必须提供对 V4L2_CTRL_FLAG_NEXT_CTRL 的支持。
应用程序可以为创建一个控制面板，其中包含一系列控制，每个 control class 用一个 V4L2_CTRL_TYPE_CTRL_CLASS 类型开始，当使用VIDIOC_QUERYCTRL 的时候将返回这个 control class 的 name ，下面我们来看 camera control class 的一些 control ：
ID Type
V4L2_CID_CAMERA_CLASS class
//camera class 的描述符，当调用 VIDIOC_QUERYCTRL 的时候将返回一个对这个 class 的描述
V4L2_CID_EXPOSURE_AUTO integer
// 自动爆光
V4L2_CID_FOCUS_AUTO boolean
// 自动对焦
//============== 相关 spec ： http://v4l2spec.bytesex.org/spec/x802.htm
  __u32 type: the type of input. There are currently only two: V4L2_INPUT_TYPE_TUNER and V4L2_INPUT_TYPE_CAMERA.