USB摄像头驱动---UVC驱动的分析

UVC与V4L2的关系

UVC:usb video class就是usb video class视频产品在不需要安装任何驱动下即插即用，包括摄像头，数字摄像头，模拟视频转换器，电视卡及静态视频相机。就是一种usb视频设备驱动，用来支持usb视频设备，凡是usb接口的摄像头都能够支持。

V4L2:是一个视频截取及设备输出API（相当于应用层于驱动之间的一种管理函数，向上层提供接口），以及linux的驱动程序框架，支持很多USB摄像头、电视调谐卡以及其他设备。

简单的讲V4L2就是用来管理UVC设备的并且能够提供视频相关的一些API。那么这些API怎么使用或者能被谁使用呢。在Linux系统上有很多的开源软件能够支持V4L2。常见的又FFmpeg、OpenCV、Skype、Mplayer等等。

摄像头驱动程序的内容

对于一个驱动程序，记住一点：写驱动就是分配、设置、注册一个结构体。
1.构造一个usb_driver
2.设置
probe:（在probe里面进行结构体以及ioctrl的设置）

• 2.1. 分配video_device:video_device_alloc
  2.2. 设置
  .fops
  .ioctl_ops (里面需要设置11项)
  如果要用内核提供的缓冲区操作函数，还需要构造一个videobuf_queue_ops
  2.3. 注册: video_register_device

id_table: 表示支持哪些USB设备
3.注册： usb_register

uvc_driver.c文件分析

分析一个视频驱动，首先寻找驱动的入口函数，再次从入口函数中找到ioctrl函数所在位置

/*init函数中*/
1. usb_register(&uvc_driver.driver);
/**/
2. uvc_probe
        uvc_register_video
            vdev = video_device_alloc();
            vdev->fops = &uvc_fops;
            video_register_device

USB设备类型

其video类就包括UVC

UVC设备结构

如上图，这是一个USB视频设备，提供video Control Interface和Video Streaming Interface两个接口；video Control Interface中提供很多Units（单元）和terminals（端点）。

APP调用UVC驱动过程

const struct v4l2_file_operations uvc_fops = {
	.owner		= THIS_MODULE,
	.open		= uvc_v4l2_open,
	.release	= uvc_v4l2_release,
	.ioctl		= uvc_v4l2_ioctl,
	.read		= uvc_v4l2_read,
	.mmap		= uvc_v4l2_mmap,
	.poll		= uvc_v4l2_poll,
};

1. open:
   uvc_v4l2_open

11个必不可少的ioctrl，在probe函数 uvc_v4l2_open中进行调用
2. VIDIOC_QUERYCAP // video->streaming->type 应该是在设备被枚举时分析描述符时设置的

if (video->streaming->type == V4L2_BUF_TYPE_VIDEO_CAPTURE)
			cap->capabilities = V4L2_CAP_VIDEO_CAPTURE
					  | V4L2_CAP_STREAMING;
		else
			cap->capabilities = V4L2_CAP_VIDEO_OUTPUT
					  | V4L2_CAP_STREAMING;

3. VIDIOC_ENUM_FMT // format数组应是在设备被枚举时设置的

 format = &video->streaming->format[fmt->index];

4. VIDIOC_G_FMT：获得格式

uvc_v4l2_get_format  // USB摄像头支持多种格式fromat, 每种格式下有多种frame(比如分辨率)
            	struct uvc_format *format = video->streaming->cur_format;
            	struct uvc_frame *frame = video->streaming->cur_frame;

5. VIDIOC_TRY_FMT：检测格式

uvc_v4l2_try_format
            /* Check if the hardware supports the requested format. */

        	/* Find the closest image size. The distance between image sizes is
        	 * the size in pixels of the non-overlapping regions between the
        	 * requested size and the frame-specified size.
        	 */

6. VIDIOC_S_FMT // 只是把参数保存起来，还没有发给USB摄像头

注意：这里的格式并没有传给video streaming interface，只是简单的保存起来

uvc_v4l2_set_format
            uvc_v4l2_try_format
        	video->streaming->cur_format = format;
        	video->streaming->cur_frame = frame;

7. VIDIOC_REQBUFS：申请buf
   申请仅仅是申请一个头部，而真真的数据缓冲区是在mmap的时候进行分配

 uvc_alloc_buffers
           	for (; nbuffers > 0; --nbuffers) {
        		mem = vmalloc_32(nbuffers * bufsize);
        		if (mem != NULL)
        			break;
        	}

8. VIDIOC_QUERYBUF：查询buf

uvc_query_buffer
            __uvc_query_buffer
                memcpy(v4l2_buf, &buf->buf, sizeof *v4l2_buf);  // 复制参数

9. mmap：映射
   uvc_v4l2_mmap
   这里进行缓冲区的虚拟地址映射以及实际数据缓冲区的分配，将头部的指针指向数据缓冲区就行。
10. .VIDIOC_QBUF：放入队列

 uvc_queue_buffer
        	list_add_tail(&buf->stream, &queue->mainqueue);
        	list_add_tail(&buf->queue, &queue->irqqueue);

11. VIDIOC_STREAMON：打开流
    这里将所有设置传入VS interface接口并设置其中的type和format类型

uvc_video_enable(video, 1)  // 把所设置的参数发给硬件,然后启动摄像头
            /* Commit the streaming parameters. */
            uvc_commit_video
                uvc_set_video_ctrl  /* 设置格式fromat, frame */
                    	ret = __uvc_query_ctrl(video->dev /* 哪一个USB设备 */, SET_CUR, 0,
                    		video->streaming->intfnum  /* 哪一个接口: VS */,
                    		probe ? VS_PROBE_CONTROL : VS_COMMIT_CONTROL, data, size,
                    		uvc_timeout_param);
           /* 启动：Initialize isochronous/bulk URBs and allocate transfer buffers. */
            uvc_init_video(video, GFP_KERNEL);
                    uvc_init_video_isoc / uvc_init_video_bulk
                        urb->complete = uvc_video_complete; (收到数据后此函数被调用,它又调用video->decode(urb, video, buf); ==> uvc_video_decode_isoc/uvc_video_encode_bulk => uvc_queue_next_buffer => wake_up(&buf->wait);)
                        
                    usb_submit_urb   

12. poll：poll机制等待数据
    等待视频摄像头数据的产生，有数据时唤醒主线程

  uvc_v4l2_poll            
            uvc_queue_poll
                poll_wait(file, &buf->wait, wait);  // 休眠等待有数据

13. VIDIOC_DQBUF：从队列中取出

 uvc_dequeue_buffer
        	list_del(&buf->stream);

14. VIDIOC_STREAMOFF ：关闭流

uvc_video_enable(video, 0);
    		usb_kill_urb(urb);
    		usb_free_urb(urb);

VC interface设置

分析设置亮度过程：

ioctl: VIDIOC_S_CTRL
            uvc_ctrl_set
            uvc_ctrl_commit
                __uvc_ctrl_commit(video, 0);
                    uvc_ctrl_commit_entity(video->dev, entity, rollback);
                			ret = uvc_query_ctrl(dev  /* 哪一个USB设备 */, SET_CUR, ctrl->entity->id  /* 哪一个unit/terminal */,
                				dev->intfnum /* 哪一个接口: VC interface */, ctrl->info->selector,
                				uvc_ctrl_data(ctrl, UVC_CTRL_DATA_CURRENT),
                				ctrl->info->size);

这里与上面打开流时使用函数一致，都是uvc_query_ctrl，但是传入参数不同，前者是video->streaming->intfnum，VC的是dev->intfnum，在之后的分析中dev->intfnum就是代表的是VC interface的内容。

总结

1.UVC设备有interface: VideoControl Interface, VideoStreaming Interface
2.VideoControl Interface用于控制，比如设置亮度。它内部有多个Unit/Terminal(在程序里Unit/Terminal都称为entity)
可以通过类似的函数来访问：

ret = uvc_query_ctrl(dev  /* 哪一个USB设备 */, SET_CUR, ctrl->entity->id  /* 哪一个unit/terminal */,
                				dev->intfnum /* 哪一个接口: VC interface */, ctrl->info->selector,
                				uvc_ctrl_data(ctrl, UVC_CTRL_DATA_CURRENT),
                				ctrl->info->size);

3. VideoStreaming Interface用于获得视频数据，也可以用来选择fromat/frame(VS可能有多种format, 一个format支持多种frame， frame用来表示分辨率等信息)
   可以通过类似的函数来访问：

ret = __uvc_query_ctrl(video->dev /* 哪一个USB设备 */, SET_CUR, 0,
                    		video->streaming->intfnum  /* 哪一个接口: VS */,
                    		probe ? VS_PROBE_CONTROL : VS_COMMIT_CONTROL, data, size,
                    		uvc_timeout_param);

4. 我们在设置FORMAT时只是简单的使用video->streaming->format[fmt->index]等数据，
   这些数据哪来的？
   应是设备被枚举时设置的，也就是分析它的描述符时设置的。
5. UVC驱动的重点在于：
   描述符的分析
   属性的控制: 通过VideoControl Interface来设置
   格式的选择：通过VideoStreaming Interface来设置
   数据的获得：通过VideoStreaming Interface的URB来获得