目录
1 写一个 USB 摄像头驱动程序
1.1 虚拟摄像头的驱动步骤
我们之前写虚拟摄像头驱动的时候的步骤是:
1.分配 video_device
2.设置
3.注册: video_register_device
现在我们要写一个 usb 摄像头驱动,也就是一个 UVC 的驱动
1.2 USB 的驱动步骤
一个 USB 的驱动我们第二期的步骤是:
1.构造一个 usb_driver
2.设置
probe:
2.1. 分配video_device:video_device_alloc
2.2. 设置
.fops
.ioctl_ops (里面需要设置11项)
如果要用内核提供的缓冲区操作函数,还需要构造一个videobuf_queue_ops
2.3. 注册: video_register_device
id_table: 表示支持哪些USB设备
3.注册: usb_register
1.3 UVC 驱动步骤
现在我们要写一个 UVC 的摄像头驱动就是把之前的虚拟摄像头的驱动的步骤放到 probe 里面来实现:
1.构造一个 usb_driver
2.设置
probe:
2.1. 分配 video_device:video_device_alloc
2.2. 设置
.fops
.ioctl_ops (里面需要设置 11 项)
如果要用内核提供的缓冲区操作函数,还需要构造一个 videobuf_queue_ops
2.3. 注册: video_register_device
id_table: 表示支持哪些 USB 设备
3.注册: usb_register
UVC: USB Video Class
在 linux 内核中 UVC 相关驱动的代码在如下目录
UVC 驱动: linux3.4.2\drivers\media\video\uvc\
在写 UVC 驱动之前,我们先看看内核是如何实现的,我们先看 uvc_driver.c
2 uvc_driver.c 源码分析
1. 构造设置一个 usb_driver
2 注册 usb_register(&uvc_driver.driver);
3 当有 USB 设备与该驱动通过 id_table 匹配成功时,调用 probe 函数
在 probe 函数里面实现摄像头的 video_device 结构体的分配设置注册
uvc_probe
if (uvc_register_chains(dev) < 0)
ret = uvc_register_terms(dev, chain);
uvc_register_video
vdev = video_device_alloc();
vdev->fops = &uvc_fops;
video_register_device
我们想了解用户如何从应用层来调用到我们的驱动的,需要先看下 UVC 文档
在 www.usb.org 下载 uvc specification,
UVC 1.5 Class specification.pdf : 有详细描述
USB_Video_Example 1.5.pdf : 有示例
通过 VideoControl Interface 来控制,
通过 VideoStreaming Interface 来读视频数据,
VC 里含有多个 Unit/Terminal 等功能模块,可以通过访问这些模块进行控制,比如调亮度
分析 UVC 驱动调用过程:
1. open:
uvc_v4l2_open //主要是一些状态的设置
应用程序调用ioctl时,就会进入uvc_v4l2_ioctl
.ioctl = uvc_v4l2_ioctl,
//把应用程序提供的参数拷贝到内核态,然后调用uvc_v4l2_do_ioctl
video_usercopy(file, cmd, arg, uvc_v4l2_do_ioctl)
uvc_v4l2_do_ioctl
case VIDIOC_QUERYCAP:
... //一系列ioctl
case VIDIOC_G_INPUT:
2. VIDIOC_QUERYCAP // video->streaming->type 在设备被枚举时分析描述符时初始化
if (video->streaming->type == V4L2_BUF_TYPE_VIDEO_CAPTURE)
cap->capabilities = V4L2_CAP_VIDEO_CAPTURE
| V4L2_CAP_STREAMING;
else
cap->capabilities = V4L2_CAP_VIDEO_OUTPUT
| V4L2_CAP_STREAMING;
3. VIDIOC_ENUM_FMT // format数组应是在设备被枚举时设置的
format = &video->streaming->format[fmt->index];
4. VIDIOC_G_FMT
uvc_v4l2_get_format // USB摄像头支持多种格式fromat, 每种格式下有多种frame(比如分辨率)
struct uvc_format *format = video->streaming->cur_format;
struct uvc_frame *frame = video->streaming->cur_frame;
5. VIDIOC_TRY_FMT
uvc_v4l2_try_format
/* Check if the hardware supports the requested format. */
/* Find the closest image size. The distance between image sizes is
* the size in pixels of the non-overlapping regions between the
* requested size and the frame-specified size.
*/
6. VIDIOC_S_FMT // 只是把参数保存起来,还没有发给USB摄像头
uvc_v4l2_set_format
uvc_v4l2_try_format
video->streaming->cur_format = format;
video->streaming->cur_frame = frame;
7. VIDIOC_REQBUFS
uvc_alloc_buffers
for (; nbuffers > 0; --nbuffers) {
mem = vmalloc_32(nbuffers * bufsize);
if (mem != NULL)
break;
}
8. VIDIOC_QUERYBUF
uvc_query_buffer
__uvc_query_buffer
memcpy(v4l2_buf, &buf->buf, sizeof *v4l2_buf); // 复制参数
9. mmap
uvc_v4l2_mmap
10. VIDIOC_QBUF
uvc_queue_buffer
list_add_tail(&buf->stream, &queue->mainqueue);
list_add_tail(&buf->queue, &queue->irqqueue);
/*应用程序把buf放入队列后,会调用STREAMON做一些初始化,启动传输,*/
11. VIDIOC_STREAMON
uvc_video_enable(video, 1) // 把所设置的参数发给硬件,然后启动摄像头
/* Commit the streaming parameters. */
uvc_commit_video
uvc_set_video_ctrl /* 设置格式fromat, frame */
ret = __uvc_query_ctrl(video->dev /* 哪一个USB设备 */, SET_CUR, 0,
video->streaming->intfnum /* 哪一个接口: VS */,
probe ? VS_PROBE_CONTROL : VS_COMMIT_CONTROL, data, size,
uvc_timeout_param);
/* 启动:初始化实时的USB请求块,并分配传输buf. */
uvc_init_video(video, GFP_KERNEL);
uvc_init_video_isoc / uvc_init_video_bulk
urb->complete = uvc_video_complete;
/*收到数据后此函数被调用,它又调用video->decode(urb, video, buf);
*最终会调用到=> wake_up(&buf->wait);终止休眠等待*/
usb_submit_urb //初始完后提交urb结构体(USB Request Block)
/* 调用poll查询数据是否准备就绪,没有的话进入休眠等待 */
12. poll
uvc_v4l2_poll
uvc_queue_poll
poll_wait(file, &buf->wait, wait); // 休眠等待有数据
/* poll返回之后就表明有可用数据,就从队列中取出buf */
13. VIDIOC_DQBUF
uvc_dequeue_buffer
list_del(&buf->stream);
14. VIDIOC_STREAMOFF
uvc_video_enable(video, 0);
usb_kill_urb(urb);
usb_free_urb(urb);
分析设置亮度过程:
ioctl: VIDIOC_S_CTRL
uvc_ctrl_set
uvc_ctrl_commit
__uvc_ctrl_commit(video, 0);
uvc_ctrl_commit_entity(video->dev, entity, rollback);
ret = uvc_query_ctrl(dev /* 哪一个USB设备 */, SET_CUR,
ctrl->entity->id /* 哪一个unit/terminal */,
dev->intfnum /* 哪一个接口: VC interface */,
ctrl->info->selector,
uvc_ctrl_data(ctrl, UVC_CTRL_DATA_CURRENT),
ctrl->info->size)
3 USB 摄像头的硬件内部框架
1)硬件框图
bulk 是批量端点
(2)分析
UVC 摄像头有两个接口:
一部分是视频控制接口(VC):用于控制。
一部分是视频流接口(VS):用于传输。
(3)在 VC 内部两个概念:单元 units ,终端 terminals
单元:里面的
terminal:用于内外链接。
在USB Camera内部抽象出了个概念:
Units :单元,内部连接,提供具有大部分功能的模块,如Selector Unit 、Process Unit
SU: Select orUnit 多路选择器,选择两路输入IT和OT其中之一;选择哪一路信号
PU: Process Unit 处理单元: 应该是亮度、白平衡,饱和度等的设置
Terminals :端点,用于“内”“外”的连接
CT:Camear Terminal 功能有:选择扫描模式、曝光模式、时间,缩放,焦点等
IT / OT:Input / Output Terminal 视频数据流的输入输出端点
VC里含有多个Unit/Terminal等功能模块,可以通过访问这些模块进行控制,比如调亮度
4 总结
1. UVC设备有2个interface: VideoControl Interface, VideoStreaming Interface
2. VideoControl Interface用于控制,比如设置亮度。它内部有多个Unit/Terminal(在程序里Unit/Terminal都称为entity:实体)
可以通过类似的函数来访问:
ret = uvc_query_ctrl(dev /* 哪一个USB设备 */, SET_CUR, ctrl->entity->id /* 哪一个unit/terminal */,
dev->intfnum /* 哪一个接口: VC interface */, ctrl->info->selector,
uvc_ctrl_data(ctrl, UVC_CTRL_DATA_CURRENT),
ctrl->info->size);
3. VideoStreaming Interface用于获得视频数据,也可以用来选择fromat/frame(VS可能有多种format, 一个format支持多种frame, frame用来表示分辨率等信息)
可以通过类似的函数来访问:
ret = __uvc_query_ctrl(video->dev /* 哪一个USB设备 */, SET_CUR, 0,
video->streaming->intfnum /* 哪一个接口: VS */,
probe ? VS_PROBE_CONTROL : VS_COMMIT_CONTROL, data, size,
uvc_timeout_param);
4. 我们在设置FORMAT时只是简单的使用video->streaming->format[fmt->index]等数据,
这些数据哪来的?
应是设备被枚举时设置的,也就是分析它的描述符时设置的。
5. UVC驱动的重点在于:
描述符的分析
属性的控制: 通过VideoControl Interface来设置
格式的选择:通过VideoStreaming Interface来设置
数据的获得:通过VideoStreaming Interface的URB来获得