一、 Linux系统中的USB摄像头驱动程序
USB摄像头以其良好的性能和低廉的价格得到广泛应用。同时因其灵活、方便的
特性,易于集成到嵌入式系统中。但是如果使用现有的符合Video for Linux
标准的驱动程序配合通用应用程序,难以充分利用
USB
带宽,帧速不高,不易满足实时监控等要求。本文首先介绍在
Linux
系统下
USB
摄像头驱动编制的一般方法,然后说明在此基础上如何提高帧速。
<script type="text/javascript"><!--google_ad_client = "pub-2299987709779770";google_ad_width = 300;google_ad_height = 250;google_ad_format = "300x250_as";google_ad_type = "text_image";google_ad_channel ="";google_color_border = "FFFFFF";google_color_bg = "FFFFFF";google_color_link = "0000FF";google_color_url = "008000";google_color_text = "000000";//--></script> <script type="text/javascript" src="http://pagead2.googlesyndication.com/pagead/show_ads.js"></script> |
USB
设备驱动程序完全符合通用设备驱动的准则,不同的是内核提供了一些特别的
API
函数,方便驱动注册、销毁自己,例如
usb_reSister()
和
usb_dereSister()
;
2
.
4
版的内核还提供了对于
hotplug
的支持。
1.1 USB摄像头驱动的一般编写方法
摄像头属于视频类设备。在目前的
Linux
核心中,视频部分的标准是
Video for Linux(
简称
V4L)
。这个标准其实定义了一套接口,内核、驱动、应用程序以这个接口为标准进行交流。目前的
V4L
涵盖了视、音频流捕捉及处理等内容,
USB
摄像头也属于它支持的范畴。
因此,
USB
摄像头的驱动应当与内核提供的视频驱动挂钩。即首先在驱动中声明一个
video_device
结构,并为其指定文件操作函数指针数组.
fops
,向系统注册。在应用程序发出文件操作的相关命令时,核心根据这些指针调用相应函数,并将该结构作为参数传递给它们。这样,就完成了驱动和核心之间的通信。例如:
static struct video_device vdev_template
=
{……}
;
/
/声明
video_device
,指出挂接驱动
static struct file_operations ov511_fops
=
{……}
;
//声明本驱动的文件操作函数指针
struct video_device*vdev
=
video_devdata(file)
;
//从文件指针中提取出
video_device
结构
|
在
video_device
结构中,有一个私有指针
priv
,可以将它指向一块保留内存。在这块内存中,保存着本驱动、本设备的相关初始化信息。这块内存的申请、初始化、指针指向等工作都是在
USB
驱动的枚举函数
.probe
中完成。这样,在枚举函数将控制权返还给系统后,因为内核不销毁保留内存,所以驱动仍然保留着自己的信息。这点与
Windows
系统中
WDM
驱动有异曲同工之处。当然,在驱动卸载函数中,应当将申请的各块内存全部释放。
1.2使用双URB轮流通信
众所周知,
USBl
.
1
总线标准定义了控制、中断、批量、等时等四种管道。对于时间性极强但是准确度要求不高的视频捕捉应用来说,摄像头应当使用等时传输方式。为了尽可能快地得到图像数据,应当在
URB
中指定
USB_ISO_ASAP
标志。
urb->transfer_flags
=
USB_ISO_ASAP
;//尽可能快地发出本
URB
|
Linux
系统中任何
USB
传输都通过
URB
实现。为提高速度,可以考虑扩大
URB
的缓冲,这样可以降低每个
USB
事务中握手信息所占比例,提高有效数据的传输速度。但是受限于总线带宽和具体的
USB
设备芯片,单纯扩大
URB
的缓冲不能无限制地解决问题。具体分析一下
USB
传输在操作系统中的实现:每次传输都要包括
URB
的建立、发出、回收、数据整理等阶段,这些时间不产生有效数据。因此可以建立两个
URB
,在等待一个
URB
被回收时,也就是图像正在被传感器采集时,处理、初始化另一个
URB
,并在回收后立刻将其发出。两个
URB
交替使用,大大减少了额外时间。工作流程如图
1
所示。
![](https://p-blog.csdn.net/images/p_blog_csdn_net/fengyv/tu1.bmp)
这个过程是在
URB
的完成例程中实现的,有两点需要注意:首先处理再次初始化的代码时间不能长,否则会造成完成例程的重人,如果确实来不及,可以在完成例程中设定标志,例如
“
数据采集好
”
旗语,由应用程序使用阻塞
ioctl()
来查询该旗语并做处理;其次由于
CPU
可能会在完成例程中停留较长时间,系统负担较大,可以在.
open
函数中初始化两个
URB
并将其发出,有限度地减轻系统负担。
1.3使用双帧缓冲提高效率
Linux
系统中,文件操作通常是由
read
、
write
等系统调用来完成。这些系统调用在驱动中的解决方法就是用
copy_to_user()
、
copy_from_user()
等函数在核态、户态内存空间中互相拷贝。但是对于大批量的图像数据,采用拷贝的方法显然会增加时间开销,因此用内存映射的方法解决。首先使用
vmalloc()
申请足够大的核态内存,将其作为图像数据缓冲空间,两个
URB
带回的图像数据在这里暂存;然后使用
remap_page_range()
函数将其逐页映射到用户空间中。户态的图像处理程序使用
mmap()
函数,直接读写核态图像缓冲内存,大大减少额外开销。
![](https://p-blog.csdn.net/images/p_blog_csdn_net/fengyv/tu2.bmp)
图像数据的处理可能要花费比较长的时间,不同的算法对于数据保留时间的要求也不一样。因此可以申请两帧图像缓冲,在处理一帧图像的同时,将两个
URB
带回的数据全部填充到另一帧缓冲中,这样可以免去时间冲突上的麻烦。
值得注意的是:这种方法要求时刻持有当前帧的序号、每一帧的起始地址等信息,不能将两帧图像混淆。这些信息可以保存在保留内存中,当前帧的数据整理、序号改变在
URB
完成例程中实现。
二、 V4L标准的改进
V4L
标准目前已经发展到第二版
V4L2
,其基本思路与
V4L
相同。
2.1标准分析
根据
V4L
标准,户态程序在需要一帧图像时,
CPU
的走向如图
2
。
CPU
按照
123456
的顺序完成一个循环。在这里,有一个细节被忽略:在完成例程中,也就是图
2
中步骤
6
,该
URB
被立刻发出,但是由于这时用户程序正在阻塞等待,没办法再次提出获得图像的申请,因此在判断有无新请求时,判断的结果必然是当前无请求,导致下一个
URB
带回的数据被驱动丢弃;由于核态、户态的切换需要一定的时间,加上户态多进程同步等开销,等到应用程序能够再次发出获得一副图像的申请时,已经有不止一个
URB
带回的数据被丢弃掉,这些
URB
包含的数据正好是新一帧图像的开始部分。因此驱动必须等到再下一帧图像才能保存数据、缓冲。这样凭白损失了一帧图像,帧速最少下降一半。
2.2改进思路:不间断采集
为了解决这个问题,可以改进
V4L
标准作,使其增加新的功能:通过新的参数,让
ioetl()
函数通知驱动不间断采集、缓冲图像数据,轮流保存在两帧缓冲区中,并在一帧图像采集好后,设定
“
图像采集好
”
旗语。户态程序只需要发出一次
“
获得图像
”
请求,就可以通过阻塞等待该旗语,不断获得图像。在采集结束后,再次通过新的参数,让驱动停止缓冲即可。
CPU
工作流程图如图
3
。
![](https://p-blog.csdn.net/images/p_blog_csdn_net/fengyv/tu3.bmp)
注意到图
2
、图
3
,两种
“
判断有无新请求
”
的不同,即可发现新方法假定一直有请求,因此不丢弃每个
URB
带回的数据,轮流保存在两个帧缓冲内。
V4L
已经作为约定俗成的标准被内核支持,因此如果使用全新的参数,工作量将相当巨大,并且不能和现有的应用程序兼容。考虑到现有的图像采集应用程序使用
VIDIOCMCAPTURE
作为参数,并提供帧序号,要求驱动将图像保存到指定序号的帧缓冲内。由于驱动通常仅仅提供几帧缓冲,因此该序号不会大于某个数字,如
10
。因此可以继续使用
VIDIOCMCAPTURE
参数,搭配较大的序号来表示新增的功能,例如用
10000
和
10001
来分别表示开始和停止缓冲图像数据的要求。驱动在收到
VIDIOCMCAPTURE
要求后,检查这个序号。如果小于
10000
,则按照正常的方法处理,否则按照改进方法。这种思路可以有效解决兼容性问题。
2.3实验结果
在赛扬 366 、 USBl . 1 接口的计算机平台上,采用上述不间断采集改进 V4L 标准,配合双 URB 、双帧缓冲等方法后,帧速提高两倍有余,有效数据传输速度达 960KB / s ,接近等时传输方式下 USB 总线的带宽极限。推荐阅读:《rh9实现视频的捕获》,该文档中有详细的代码
<script type="text/javascript"><!--google_ad_client = "pub-2299987709779770";google_ad_width = 468;google_ad_height = 15;google_ad_format = "468x15_0ads_al_s";google_ad_channel ="";google_color_border = "FFFFFF";google_color_bg = "FFFFFF";google_color_link = "0000FF";google_color_url = "008000";google_color_text = "000000";//--></script><script type="text/javascript" src="http://pagead2.googlesyndication.com/pagead/show_ads.js"></script>
在赛扬 366 、 USBl . 1 接口的计算机平台上,采用上述不间断采集改进 V4L 标准,配合双 URB 、双帧缓冲等方法后,帧速提高两倍有余,有效数据传输速度达 960KB / s ,接近等时传输方式下 USB 总线的带宽极限。推荐阅读:《rh9实现视频的捕获》,该文档中有详细的代码
<script type="text/javascript"><!--google_ad_client = "pub-2299987709779770";google_ad_width = 728;google_ad_height = 90;google_ad_format = "728x90_as";google_ad_type = "text_image";google_ad_channel ="";google_color_border = "FFFFFF";google_color_bg = "FFFFFF";google_color_link = "0000ff";google_color_url = "008000";google_color_text = "000000";//--></script> <script type="text/javascript" src="http://pagead2.googlesyndication.com/pagead/show_ads.js"></script> |
上一篇:《【linux编程】C++内存管理详解(一)》《【linux编程】C++内存管理详解(二)》 上一篇:《【linux编程】C++内存管理详解(三)》 下一篇:《Linux socket 编程中存在的五个隐患》 |