UVC与V4L2的关系
UVC:usb video class就是usb video class视频产品在不需要安装任何驱动下即插即用,包括摄像头,数字摄像头,模拟视频转换器,电视卡及静态视频相机。就是一种usb视频设备驱动,用来支持usb视频设备,凡是usb接口的摄像头都能够支持。
V4L2:是一个视频截取及设备输出API(相当于应用层于驱动之间的一种管理函数,向上层提供接口),以及linux的驱动程序框架,支持很多USB摄像头、电视调谐卡以及其他设备。
简单的讲V4L2就是用来管理UVC设备的并且能够提供视频相关的一些API。那么这些API怎么使用或者能被谁使用呢。在Linux系统上有很多的开源软件能够支持V4L2。常见的又FFmpeg、OpenCV、Skype、Mplayer等等。
摄像头驱动程序的内容
对于一个驱动程序,记住一点:写驱动就是分配、设置、注册一个结构体。
1.构造一个usb_driver
2.设置
probe:(在probe里面进行结构体以及ioctrl的设置)
- 2.1. 分配video_device:video_device_alloc
2.2. 设置
.fops
.ioctl_ops (里面需要设置11项)
如果要用内核提供的缓冲区操作函数,还需要构造一个videobuf_queue_ops
2.3. 注册: video_register_device
id_table: 表示支持哪些USB设备
3.注册: usb_register
uvc_driver.c文件分析
分析一个视频驱动,首先寻找驱动的入口函数,再次从入口函数中找到ioctrl函数所在位置
/*init函数中*/
1. usb_register(&uvc_driver.driver);
/**/
2. uvc_probe
uvc_register_video
vdev = video_device_alloc();
vdev->fops = &uvc_fops;
video_register_device
USB设备类型
其video类就包括UVC
UVC设备结构
如上图,这是一个USB视频设备,提供video Control Interface和Video Streaming Interface两个接口;video Control Interface中提供很多Units(单元)和terminals(端点)。
APP调用UVC驱动过程
const struct v4l2_file_operations uvc_fops = {
.owner = THIS_MODULE,
.open = uvc_v4l2_open,
.release = uvc_v4l2_release,
.ioctl = uvc_v4l2_ioctl,
.read = uvc_v4l2_read,
.mmap = uvc_v4l2_mmap,
.poll = uvc_v4l2_poll,
};
- open:
uvc_v4l2_open
11个必不可少的ioctrl,在probe函数 uvc_v4l2_open中进行调用
2. VIDIOC_QUERYCAP // video->streaming->type 应该是在设备被枚举时分析描述符时设置的
if (video->streaming->type == V4L2_BUF_TYPE_VIDEO_CAPTURE)
cap->capabilities = V4L2_CAP_VIDEO_CAPTURE
| V4L2_CAP_STREAMING;
else
cap->capabilities = V4L2_CAP_VIDEO_OUTPUT
| V4L2_CAP_STREAMING;
- VIDIOC_ENUM_FMT // format数组应是在设备被枚举时设置的
format = &video->streaming->format[fmt->index];
- VIDIOC_G_FMT:获得格式
uvc_v4l2_get_format // USB摄像头支持多种格式fromat, 每种格式下有多种frame(比如分辨率)
struct uvc_format *format = video->streaming->cur_format;
struct uvc_frame *frame = video->streaming->cur_frame;
- VIDIOC_TRY_FMT:检测格式
uvc_v4l2_try_format
/* Check if the hardware supports the requested format. */
/* Find the closest image size. The distance between image sizes is
* the size in pixels of the non-overlapping regions between the
* requested size and the frame-specified size.
*/
- VIDIOC_S_FMT // 只是把参数保存起来,还没有发给USB摄像头
注意:这里的格式并没有传给video streaming interface,只是简单的保存起来
uvc_v4l2_set_format
uvc_v4l2_try_format
video->streaming->cur_format = format;
video->streaming->cur_frame = frame;
- VIDIOC_REQBUFS:申请buf
申请仅仅是申请一个头部,而真真的数据缓冲区是在mmap的时候进行分配
uvc_alloc_buffers
for (; nbuffers > 0; --nbuffers) {
mem = vmalloc_32(nbuffers * bufsize);
if (mem != NULL)
break;
}
- VIDIOC_QUERYBUF:查询buf
uvc_query_buffer
__uvc_query_buffer
memcpy(v4l2_buf, &buf->buf, sizeof *v4l2_buf); // 复制参数
- mmap:映射
uvc_v4l2_mmap
这里进行缓冲区的虚拟地址映射以及实际数据缓冲区的分配,将头部的指针指向数据缓冲区就行。 - .VIDIOC_QBUF:放入队列
uvc_queue_buffer
list_add_tail(&buf->stream, &queue->mainqueue);
list_add_tail(&buf->queue, &queue->irqqueue);
- VIDIOC_STREAMON:打开流
这里将所有设置传入VS interface接口并设置其中的type和format类型
uvc_video_enable(video, 1) // 把所设置的参数发给硬件,然后启动摄像头
/* Commit the streaming parameters. */
uvc_commit_video
uvc_set_video_ctrl /* 设置格式fromat, frame */
ret = __uvc_query_ctrl(video->dev /* 哪一个USB设备 */, SET_CUR, 0,
video->streaming->intfnum /* 哪一个接口: VS */,
probe ? VS_PROBE_CONTROL : VS_COMMIT_CONTROL, data, size,
uvc_timeout_param);
/* 启动:Initialize isochronous/bulk URBs and allocate transfer buffers. */
uvc_init_video(video, GFP_KERNEL);
uvc_init_video_isoc / uvc_init_video_bulk
urb->complete = uvc_video_complete; (收到数据后此函数被调用,它又调用video->decode(urb, video, buf); ==> uvc_video_decode_isoc/uvc_video_encode_bulk => uvc_queue_next_buffer => wake_up(&buf->wait);)
usb_submit_urb
- poll:poll机制等待数据
等待视频摄像头数据的产生,有数据时唤醒主线程
uvc_v4l2_poll
uvc_queue_poll
poll_wait(file, &buf->wait, wait); // 休眠等待有数据
- VIDIOC_DQBUF:从队列中取出
uvc_dequeue_buffer
list_del(&buf->stream);
- VIDIOC_STREAMOFF :关闭流
uvc_video_enable(video, 0);
usb_kill_urb(urb);
usb_free_urb(urb);
VC interface设置
分析设置亮度过程:
ioctl: VIDIOC_S_CTRL
uvc_ctrl_set
uvc_ctrl_commit
__uvc_ctrl_commit(video, 0);
uvc_ctrl_commit_entity(video->dev, entity, rollback);
ret = uvc_query_ctrl(dev /* 哪一个USB设备 */, SET_CUR, ctrl->entity->id /* 哪一个unit/terminal */,
dev->intfnum /* 哪一个接口: VC interface */, ctrl->info->selector,
uvc_ctrl_data(ctrl, UVC_CTRL_DATA_CURRENT),
ctrl->info->size);
这里与上面打开流时使用函数一致,都是uvc_query_ctrl,但是传入参数不同,前者是video->streaming->intfnum,VC的是dev->intfnum,在之后的分析中dev->intfnum就是代表的是VC interface的内容。
总结
1.UVC设备有interface: VideoControl Interface, VideoStreaming Interface
2.VideoControl Interface用于控制,比如设置亮度。它内部有多个Unit/Terminal(在程序里Unit/Terminal都称为entity)
可以通过类似的函数来访问:
ret = uvc_query_ctrl(dev /* 哪一个USB设备 */, SET_CUR, ctrl->entity->id /* 哪一个unit/terminal */,
dev->intfnum /* 哪一个接口: VC interface */, ctrl->info->selector,
uvc_ctrl_data(ctrl, UVC_CTRL_DATA_CURRENT),
ctrl->info->size);
- VideoStreaming Interface用于获得视频数据,也可以用来选择fromat/frame(VS可能有多种format, 一个format支持多种frame, frame用来表示分辨率等信息)
可以通过类似的函数来访问:
ret = __uvc_query_ctrl(video->dev /* 哪一个USB设备 */, SET_CUR, 0,
video->streaming->intfnum /* 哪一个接口: VS */,
probe ? VS_PROBE_CONTROL : VS_COMMIT_CONTROL, data, size,
uvc_timeout_param);
- 我们在设置FORMAT时只是简单的使用video->streaming->format[fmt->index]等数据,
这些数据哪来的?
应是设备被枚举时设置的,也就是分析它的描述符时设置的。 - UVC驱动的重点在于:
描述符的分析
属性的控制: 通过VideoControl Interface来设置
格式的选择:通过VideoStreaming Interface来设置
数据的获得:通过VideoStreaming Interface的URB来获得