V4L2 videobuffer2的介绍,数据流分析

1. videobuffer2的介绍
一. vb2涉及的数据结构:
struct v4l2_buffer {                                            //供用户态使用
    __u32            index;
    __u32            type;
    __u32            bytesused;
    __u32            flags;
    __u32            field;
    struct timeval        timestamp;
    struct v4l2_timecode    timecode;
    __u32            sequence;

    /* memory location */
    __u32            memory;
    union {
        __u32           offset;                    //MMAP方式
        unsigned long   userptr;                //userptr
        struct v4l2_plane *planes;
        __s32        fd;                            //dma
    } m;
    __u32            length;
    __u32            reserved2;
    __u32            reserved;
};

struct v4l2_requestbuffers {                                    //由用户指定
    __u32            count;                                        //buffer的个数
    __u32            type;        /* enum v4l2_buf_type */        //vb2的类型 (不是很重要，与申请的内存无关)
    __u32            memory;        /* enum v4l2_memory */            //3种类型 VB2_MEMORY_MMAP,VB2_MEMORY_MMAP,VB2_MEMORY_DMABUF
    __u32            reserved[2];
};

struct vb2_queue {                                                //由内核态维护
    unsigned int            type;
    unsigned int            io_modes;
    const struct vb2_ops        *ops;                            //vb2_queue的接口操作,比如buf_prepare
    const struct vb2_mem_ops    *mem_ops;                        //内存申请方面，针对MMAP类型模式
    const struct vb2_buf_ops    *buf_ops;                        //vb2_queue的接口操作
    void                *drv_priv;
    unsigned int            buf_struct_size;
    u32                timestamp_flags;
    gfp_t                gfp_flags;
    u32                min_buffers_needed;                            //指定至少需要的buffer数，用户层申请的buffer块数不得小于此值
    /* private: internal use only */
    struct mutex            mmap_lock;
    unsigned int            memory;                                //用户指定的v4l2_memory(3种类型)
    struct vb2_buffer        *bufs[VB2_MAX_FRAME];                //存放vb2_buffer数据，格式是用户申请的count数目
    unsigned int            num_buffers;                        //实际申请到的buffer数目，防止用户态恶意申请非常大的buffer块数
    struct list_head        queued_list;                        //用户态申请的buffer块放在此列表内
    unsigned int            queued_count;
    //以下dqbuf取数据的标志有关
    struct list_head        done_list;
    spinlock_t            done_lock;
    wait_queue_head_t        done_wq;                            //dqbuf取数据时会检测这个变量
};

struct vb2_buffer {                                                //由内核态维护
    struct vb2_queue    *vb2_queue;
    unsigned int        index;
    unsigned int        type;
    unsigned int        memory;
    unsigned int        num_planes;
    struct vb2_plane    planes[VB2_MAX_PLANES];                    //length:记录一幅图像的大小
    u64            timestamp;

    /* private: internal use only
     *
     * state:        current buffer state; do not change
     * queued_entry:    entry on the queued buffers list, which holds
     *            all buffers queued from userspace
     * done_entry:        entry on the list that stores all buffers ready
     *            to be dequeued to userspace
     */
    enum vb2_buffer_state    state;

    struct list_head    queued_entry;
    struct list_head    done_entry;
}

struct vb2_plane {
    void            *mem_priv;                                    //存放具体的一幅图片的大小(针对MMAP类型模式)
    struct dma_buf        *dbuf;                                    //(针对DMA类型模式)
    unsigned int        dbuf_mapped;
    unsigned int        bytesused;
    unsigned int        length;                                    //记录一幅图像的大小
    unsigned int        min_length;                                //记录一幅图像的最小的大小
    union {
        unsigned int    offset;
        unsigned long    userptr;                                //(针对USERPTR类型模式)
        int        fd;
    } m;
    unsigned int        data_offset;
};

二. 常用的vb2接口介绍
2.1 以下3个回调函数数组在vb2接口使用时被调用。其中vb2_ops是用户根据项目需求自己去实现，其余2个是vb2架构平台自带的实现
static const struct vb2_buf_ops v4l2_buf_ops = {
    .verify_planes_array    = __verify_planes_array_core,
    .fill_user_buffer    = __fill_v4l2_buffer,                    //将内核态的一些信息告知用户态。交流的结构体就是struct v4l2_buffer
    .fill_vb2_buffer    = __fill_vb2_buffer,                    //VIDIOC_QBUF时会被调用
    .copy_timestamp        = __copy_timestamp,
};

static void __fill_v4l2_buffer(struct vb2_buffer *vb, struct v4l2_buffer *pb)                        //将内核态的一些信息告知用户态。交流的结构体就是struct v4l2_buffer    
static int __fill_vb2_buffer(struct vb2_buffer *vb, const void *pb, struct vb2_plane *planes)    //通过用户态v4l2_buffer去完成vb2_buffer的填充。针对USERPTR，USERDMA模式
    if (b->memory == VB2_MEMORY_USERPTR) {
        planes[0].m.userptr = b->m.userptr;
        planes[0].length = b->length;
    }
    if (b->memory == VB2_MEMORY_DMABUF) {
        planes[0].m.fd = b->m.fd;
        planes[0].length = b->length;
    }

//以下是队列的相关操作函数，在使用vb2的标准接口时会调用到以下接口。由于接口的具体实现内容由项目实际情况决定，故作为开放的接口。
const struct vb2_ops v4l2_model_qops = {
    .queue_setup = v4l2_model_qops_queue_setup,                //VIDIOC_REQBUF时会被调用

    /* do nothing */
    .wait_prepare = v4l2_model_qops_wait_prepare,            //VIDIOC_DQBUF时会被调用
    .wait_finish = v4l2_model_qops_wait_finish,                //VIDIOC_DQBUF时会被调用
    .buf_init = v4l2_model_qops_buf_init,                    //VIDIOC_REQBUF时会被调用

    .buf_prepare = v4l2_model_qops_buf_prepare,                //VIDIOC_QBUF时会被调用
    .buf_cleanup = v4l2_model_qops_buf_cleanup,                //与buf_prepare相对应
    .buf_finish = v4l2_model_qops_buf_finish,                //VIDIOC_DQBUF时会被调用
    .start_streaming = v4l2_model_qops_start_streaming,
    .stop_streaming = v4l2_model_qops_stop_streaming,
    .buf_queue = v4l2_model_qops_buf_queue,
};

支持3种方式：(用于具体的内存申请)
V4L2_MODEL_BUF_TYPE_VMALLOC    (分配的内存在物理地址上是不连续的，虚拟地址连续)
    q->mem_ops = &vb2_vmalloc_memops;            //申请的物理地址不连续. 内部vmalloc， 返回值 struct vb2_vmalloc_buf *buf;
V4L2_MODEL_BUF_TYPE_DMA_CONT (分配的内存在物理地址上是连续的)
    q->mem_ops = &vb2_dma_contig_memops;        //申请的物理地址连续. 内部 dma_alloc_from_coherent(), 返回值 struct vb2_dc_buf *buf;
V4L2_MODEL_BUF_TYPE_DMA_SG (需要硬件支持iommu功能，申请的地址物理地址上不连续，虚拟地址也不连续)
    q->mem_ops = &vb2_dma_sg_memops;            //iommu相关，运行申请的物理地址不连续.

2.2 初始化队列
int vb2_queue_init(struct vb2_queue *q)
    q->buf_ops = &v4l2_buf_ops;
    vb2_core_queue_init(q);            //无实际作用，用于判断
此初始化函数全部由vb2架构平台来实现

2.3 申请buffer块.（涉及的ioctl操作时VIDIOC_REQBUF）
.vidioc_reqbufs    =    vb2_ioctl_reqbufs,
int vb2_ioctl_reqbufs(struct file *file, void *priv, struct v4l2_requestbuffers *p)
    vb2_core_reqbufs(struct vb2_queue *q, enum vb2_memory memory, unsigned int *count)    //队列,申请的内存类型,申请的内存个数
        *count == 0时，清空目前队列所有的buffer数据
        *count != 0时, queue_setup指定，一幅图片的大小以及num_planes，一般num_planes=1
        allocated_buffers = __vb2_queue_alloc(q, memory, num_buffers(用户态设置的大小), num_planes(1), plane_sizes(一幅图片的大小));    //具体的申请空间
            //内部调用alloc() 和 buf_init()函数，涉及的结构体是struct vb2_buffer以及struct vb2_plane
        

2.4 QBUF，将用户申请的buffer块压入队列。（涉及的ioctl操作时VIDIOC_QBUF）
.vidioc_qbuf =    vb2_ioctl_qbuf,
int vb2_ioctl_qbuf(struct file *file, void *priv, struct v4l2_buffer *p)
    vb2_core_qbuf(q, b->index(用户态申请的buffer块索引), b(v4l2_buffer));
        vb = q->bufs[index];                            //取出vb2_buffer
        list_add_tail(&vb->queued_entry, &q->queued_list);
        q->queued_count++;
        __buf_prepare(vb, pb);
            switch (q->memory) {
            case VB2_MEMORY_MMAP:
                ret = __qbuf_mmap(vb, pb);
                    fill_vb2_buffer()
                    buf_prepare()
                break;
            case VB2_MEMORY_USERPTR:
                ret = __qbuf_userptr(vb, pb);
                    fill_vb2_buffer()
                    get_userptr()                        //获取用户态申请到的内存空间
                    buf_init()
                    buf_prepare()
                break;
            case VB2_MEMORY_DMABUF:
                ret = __qbuf_dmabuf(vb, pb);
                break;

2.4 DQBUF，从队列取出申请的buffer。（涉及的ioctl操作时VIDIOC_DQBUF）
.vidioc_dqbuf         = vb2_ioctl_dqbuf,
int vb2_dqbuf(struct vb2_queue *q, struct v4l2_buffer *b, bool nonblocking)            //从队列取出数据，类似于读数据，涉及是否阻塞的问题
    vb2_core_dqbuf(q, NULL, b, nonblocking);
        __vb2_get_done_vb(q, &vb, pb, nonblocking);                                    //获取已经完成操作的队列数据
            __vb2_wait_for_done_vb(q, nonblocking);                                    //等待done_list上有数据
                wait_prepare()
                wait_event_interruptible(q->done_wq);
                wait_finish()
            *vb = list_first_entry(&q->done_list, struct vb2_buffer, done_entry);    //从done_list上取出数据(何时往done_list上放数据，见以下2.5)
        buf_finish()
        fill_user_buffer()
        list_del(&vb->queued_entry);
        q->queued_count--;
        __vb2_dqbuf(vb);
            unmap_dmabuf

2.5 此函数可以唤醒VIDIOC_DQBUF中等待数据部分（因为若打开方式设置为阻塞，用户态在调用VIDIOC_DQBUF时将一直等待，直到内核态驱动调用vb2_buffer_done函数）
void vb2_buffer_done(struct vb2_buffer *vb, enum vb2_buffer_state state)            //往done_list上放数据
    finish()
    list_add_tail(&vb->done_entry, &q->done_list);
    wake_up(&q->done_wq);                //唤醒done_wq队列。dqbuf里wait_event_interruptible(q->done_wq);所以dqbuf阻塞状态时会一直阻塞，直到调用vb2_buffer_done()

2.6 查询用户申请的buffer块（struct v4l2_buffer是用户态与内核态下进行数据交流的数据结构。如果使用USERPTR方式，则v4l2_buffer里会保存用户态下申请的数据首地址以及大小）
.vidioc_querybuf =    vb2_ioctl_querybuf,
int vb2_ioctl_querybuf(struct file *file, void *priv, struct v4l2_buffer *p)
    int vb2_querybuf(struct vb2_queue *q, struct v4l2_buffer *b)
        vb = q->bufs[b->index];                //根据index取出vb2_buffer
        vb2_core_querybuf(q, b->index, b);
            fill_user_buffer();

            
3. 用户态与内核态的数据交流
struct vb2_plane结构体存储的是真正申请的内存的地址以及长度.有3种方式:
a. USERPTR:此种方式由用户态去申请空间（比如用vmalloc，申请的大小可能有限）.在VIDIOC_QBUF时会将用户态信息v4l2_buffer转换为内核态下vb2_buffer信息
b. DMA的方式没有仔细研究，确定的是也是由用户态去申请空间
c. MMAP方式: 此方式由内核态去申请,申请方式在内核态下又分为3种，上面有介绍过

问:那么这部分数据在内核态下怎么走?
答:举例以MMAP方式申请，V4L2_MODEL_BUF_TYPE_DMA_CONT类型申请到的一块连续的物理地址值和对应的一个虚拟地址值。
buf_descs[0].addr = vb2_dma_contig_plane_dma_addr(vb, i);    //得到物理地址.这个值很有可能写到具体的寄存器中
buf_descs[0].size = vb2_plane_size(vb, i);                    //得到大小(通常一幅图片大小)
以下2行是针对V4L2_MODEL_BUF_TYPE_SG_CONT类型
buf_descs[j].addr = sg_dma_address(sg);
buf_descs[j].size = sg_dma_len(sg);
所以一旦dma采集到数据，则对应的MMAP方式申请的空间也就有了数据。然后调用video_buf_done()函数将数据放到done_list链表，并执行wakeup()函数来唤醒dqbuf()函数取出数据。此时用户态调用VIDIOC_DQBUF时就可以采集到一帧的视频数据了。

总结:
使用MMAP的方式在内核态下申请数据（又分3种申请方式），申请的数据可以是在物理地址上连续，从而使用DMA。但是USERPTR方式，由于用户态下只能malloc，所以申请的数据基本上不能用于dma传输。

 

用户指定buffer的个数，具体由内核去分配，分配方式也有用户态指定。内核态的多个buffer以链表的形式进行组织。