一.V4L2简介
V4L2是Video for linux2的简称,为linux中关于视频设备的内核驱动。是linux操作系统下一套用于采集图片、视频和音频数据的通用API接口,配合适当的视频采集设备和相应的驱动程序,可以实现图片、视频、音频等的采集。 V4L2支持三种方式来采集图像:内存映射方式(mmap)、直接读取方式(read)和用户指针;
二.V4L2框架
1.重要结构体
该结构体描述了视频采集设备的driver信息
struct v4l2_capability
{
__u8 driver[16]; // 驱动名字
__u8 card[32]; // 设备名字
__u8 bus_info[32]; // 设备在系统中的位置
__u32 version; // 驱动版本号
__u32 capabilities; // 设备支持的操作
__u32 reserved[4]; // 保留字段
};
该结构体描述当前camera(摄像机)支持的格式信息
struct v4l2_fmtdesc
{
__u32 index; // 要查询的格式序号,应用程序设置
enum v4l2_buf_type type; // 帧类型,应用程序设置
__u32 flags; // 是否为压缩格式
__u8 description[32]; // 格式名称
__u32 pixelformat; //所支持的格式
__u32 reserved[4]; // 保留
};
该结构体描述每帧图像的具体格式,包括帧类型以及图像的长、宽等信息 01 struct v4l2_format 02 { 03 enum v4l2_buf_type type; // 帧类型,应用程序设置 04 union fmt 05 { 06 struct v4l2_pix_format pix; // 视频设备使用 07 struct v4l2_window win; 08 struct v4l2_vbi_format vbi; 09 struct v4l2_sliced_vbi_format sliced; 10 __u8 raw_data[200]; 11 }; 12 };
该结构体描述申请的缓冲区的基本信息 01 struct v4l2_requestbuffers 02 { 03 __u32 count; // 缓冲区内缓冲帧的数目 04 enum v4l2_buf_type type; // 缓冲帧数据格式 05 enum v4l2_memorymemory; // 区别是内存映射还是用户指针方式 06 __u32 reserved[2]; 07 };
该结构体表示一帧图像数据的基本信息,包含序号、缓冲帧长度和缓冲帧地址等信息 01 struct v4l2_buffer 02 { 03 __u32 index; //buffer 序号 04 enum v4l2_buf_type type; //buffer 类型 05 __u32 byteused; //buffer 中已使用的字节数 06 __u32 flags; // 区分是MMAP 还是USERPTR 07 enum v4l2_field field; 08 struct timeval timestamp; // 获取第一个字节时的系统时间 09 struct v4l2_timecode timecode; 10 __u32 sequence; // 队列中的序号 11 enum v4l2_memory memory; //IO 方式,被应用程序设置 12 union m 13 { 14 __u32 offset; // 缓冲帧地址,只对MMAP 有效 15 unsigned long userptr; 16 }; 17 __u32 length; // 缓冲帧长度 18 __u32 input; 19 __u32 reserved; 20 };
2.v4l2的实现流程
1)Video设备又分为主设备和从设备对于Camera来说, 主设备: Camera Host控制器为主设备,负责图像数据的接收和传输, 从设备: 从设备为Camera Sensor,一般为I2C接口,可通过从设备控制Camera采集图像的行为,如图像的大小、图像的FPS等。V4L2的主设备号是81,次设备号范围0~255
2)这些次设备号又分为多类设备:
视频设备(次设备号范围0-63)
Radio(收音机)设备(次设备号范围64-127)
Teletext设备(次设备号范围192-223)
VBI设备(次设备号范围224-255)。
V4L2设备对应的设备节点有/dev/videoX、/dev/vbiX、/dev/radioX。
本文只讨论视频设备,视频设备对应的设备节点是/dev/videoX,视频设备以高频摄像头或Camera为输入源,Linux内核驱动该类设备,接收相应的视频信息并处理
2.0v4l2的分层
user space: 应用程序主要通过libv4l库来操作摄像头 也可以基于字符设备/dev/videoX自己编写应用程序 guvcview:用于调试usb摄像头(还有个软件cheese也可以) v4l2 utilities: v4l2 的工具集(参考前面第3篇文章)
kernel space: sensor、ISP、VIPP、CSI、CCI都为从设备向上,提供dev/videoX节点, 从dphy物理层获取视频数据册通过vb2子模块 CCI :主要是通过GPIO(供电、片选)、I2C(下发配置命令给sensor)实现配置sensor EHCI/OHCI:USB类型摄像头
适用于收音机,视频编解码器,视频捕获器以及视频输出设备驱动;
hardware CSIC Controller:从dphy获取mipi协议帧 I2C Controller:与sensor的i2c block通信 GPIO Controller:sensor通常需要供电或者片选
Video Control:视频处理命令(分辨率协商,数据格式处理,buffer管理)
Runtime Handle:运行时管理(Pipeline 管理,系统资源管理,中断调度)
Event Process:事件管理(上层调用,中断等事件的接收和分发);
Config Handle:配置管理(硬件拓扑结构,模组自适应列表);
external device sensror:摄像头的接口主要有:USB,DVP.MIPI(CSI)
Camera Modules:模组驱动(图像传感器,对焦电机,闪光灯等)
Camera Interfac:接口驱动(MIPI, Sub-Lvds, HiSpi, Bt656, DC等)
Image Signal Processor:图像处理驱动(基本处理模块驱动,3A统计驱动)
Video Inout Post Processor:视频输入后处理(Scaler,OSD等)
2.1中重要的结构体、
1)v4l2_device主设备
struct v4l2_device { struct device *dev; // 父设备指针 #if defined(CONFIG_MEDIA_CONTROLLER) // 多媒体设备配置选项 // 用于运行时数据流的管理, struct media_device *mdev; #endif // 注册的子设备的v4l2_subdev结构体都挂载此链表中 struct list_hea