【Linux驱动】Linux--虚拟摄像头vivid驱动分析（基于5.4内核）

已于 2023-04-13 11:21:02 修改
阅读量987 收藏 4
点赞数 2
分类专栏： v4l2摄像头编程 文章标签： linux
于 2023-04-11 12:21:14 首次发布
原文链接：https://blog.csdn.net/m0_61737429/article/details/129805621?spm=1001.2014.3001.5502
版权

Linux摄像头系列文章

【Linux应用】Linux–V4L2摄像头应用编程

【Linux】Linux–V4L2视频驱动框架

Linux–虚拟摄像头驱动分析

本文基于Linux 5.4内核，虚拟摄像头驱动文件在drivers\media\platform\vivid目录下，本文分析了vivid的框架，简要使用摄像头测试软件xawtv对虚拟摄像头进行测试。

一、视频驱动框架

1.分配video_device

2.设置

3.注册：video_register_device

二、函数调用过程

虚拟视频驱动vivid-core.c分析

  • 先从入口函数看起
vivid_init
	//注册vivid设备和驱动
	platform_device_register(&vivid_pdev);
	platform_driver_register(&vivid_pdrv);
  • 在设备驱动匹配后，调用probe函数
vivid_probe vivid_create_instance /* 创建实例 */ dev = kzalloc(sizeof(*vivid_dev), GFP_KERNEL);/* 分配video_devicede */ v4l2_device_register /* 初始化v4l2_device */ 
	/* 设置video_device */
	1.vfd->fops = &vivid_fops;
	  vfd->ioctl_ops = &vivid_ioctl_ops;
	  vfd->release = video_device_release_empty;
	2.vfd->v4l2_dev = &dev->v4l2_dev;
	3.设置"ctrl属性"(用于APP的ioctl)
	   	v4l2_ctrl_handler_setup(&dev->ctrl_hdl_vid_cap);
		v4l2_ctrl_handler_setup(&dev->ctrl_hdl_vid_out);
		...

     
	video_register_device（video_device, type:VFL_TYPE_GRABBER, nr）
        __video_register_device
        	vdev->cdev = cdev_alloc();
			vdev->cdev->ops = &v4l2_fops;
			video_devices[vdev->minor] = vdev;//将video_device放入全局数组中
			ret = cdev_add(vdev->cdev, MKDEV(VIDEO_MAJOR, vdev->minor), 1);
			if (vdev->ctrl_handler == NULL)
			vdev->ctrl_handler = vdev->v4l2_dev->ctrl_handler;

总结：

  1. 分配video_device:video_device_alloc()或kzalloc()；
  2. 设置video_device:.fops、.ioctl_ops、dev；
  3. 注册video_device: video_register_device()；

分析vivid的open,read,ioctl过程

  1. open
app:     open("/dev/video0",....)

drv: v4l2_fops.v4l2_open
vdev = video_devdata(filp); // 根据次设备号从数组中得到video_device
ret = vdev->fops->open(filp);
vivi_ioctl_ops.open
v4l2_fh_open

  1. read
app: read ....

drv: v4l2_fops.v4l2_read
struct video_device *vdev = video_devdata(filp);
ret = vdev->fops->read(filp, buf, sz, off);

  1. ioctl
app: ioctl

drv: v4l2_fops.unlocked_ioctl
v4l2_ioctl
struct video_device *vdev = video_devdata(filp);
ret = vdev->fops->unlocked_ioctl(filp, cmd, arg);
video_ioctl2
video_usercopy(file, cmd, arg, __video_do_ioctl);
__video_do_ioctl
struct video_device *vfd=video_devdata(file);
根据APP传入的cmd来获得、设置"某些属性"

当应用层发生系统调用时，会先调用到字符设备的fops，经过v4l2的核心层，最终回调到video_device的fops 。

核心层v4l2_ctrl_handler会找到video_device的fops 。过程如下(在上文中通过v4l2_ctrl_handler_setup设置了某些属性的ioctl处理函数)

 __video_do_ioctl
	struct video_device *vfd = video_devdata(file);
		v4l2_is_known_ioctl(cmd)
        info = &v4l2_ioctls[_IOC_NR(cmd)]; 		/* v4l2_ioctls数组存有全部IOCTL_INFO，含有													ioctl函数指针 */
        ret = info->func(ops, file, fh, arg);	/* 调用对应的ioctl函数 */

三、虚拟摄像头测试

使用xawtv摄像头应用程序

  • 准备工作：安装xawtv
    sudo apt-get install xawtv

  • 确定ubuntu的内核版本
    uname -a

    Linux 100ask 5.4.0-144-generic #161~18.04.1-Ubuntu SMP Fri Feb 10 15:55:22 UTC 2023 x86_64 x86_64 x86_64 GNU/Linux

  • 去www.kernel.org下载同版本的内核，解压后把drivers/media/video目录取出

  • 修改media/platform/vivid/下的Makefile ：

    KERN_DIR = /usr/src/linux-headers-5.4.0-144-generic

  • make

  1. sudo modprobe vivi
    sudo rmmod vivi
    sudo insmod ./vivi.ko

  2. ls /dev/video*

  3. xawtv -c /dev/videoX

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-suwcBxis-1679926801294)(image/Linux之V4L2视频应用驱动/1679845440746.png)]

xawtv摄像头应用程序调用分析

  • 获取xawtv执行时调用的函数
strace -o xawtv.log xawtv    

 
 

 
 
  • 1

xawtv.log大致调用流程如下

// 1~7都是在v4l2_open里调用
1. open
2. ioctl(4, VIDIOC_QUERYCAP

// 3~7 都是在get_device_capabilities里调用
3. for()
ioctl(4, VIDIOC_ENUMINPUT // 列举输入源,VIDIOC_ENUMINPUT/VIDIOC_G_INPUT/VIDIOC_S_INPUT不是必需的
4. for()
ioctl(4, VIDIOC_ENUMSTD // 列举标准(制式), 不是必需的
5. for()
ioctl(4, VIDIOC_ENUM_FMT // 列举格式

6. ioctl(4, VIDIOC_G_PARM
7. for()
ioctl(4, VIDIOC_QUERYCTRL // 查询属性(比如说亮度值最小值、最大值、默认值)

// 8~10都是通过v4l2_read_attr来调用的
8. ioctl(4, VIDIOC_G_STD // 获得当前使用的标准(制式), 不是必需的
9. ioctl(4, VIDIOC_G_INPUT
10. ioctl(4, VIDIOC_G_CTRL // 获得当前属性, 比如亮度是多少

11. ioctl(4, VIDIOC_TRY_FMT // 试试能否支持某种格式
12. ioctl(4, VIDIOC_S_FMT // 设置摄像头使用某种格式

// 13~16在v4l2_start_streaming
13. ioctl(4, VIDIOC_REQBUFS // 请求系统分配缓冲区
14. for()
ioctl(4, VIDIOC_QUERYBUF // 查询所分配的缓冲区
mmap
15. for ()
ioctl(4, VIDIOC_QBUF // 把缓冲区放入队列
16. ioctl(4, VIDIOC_STREAMON // 启动摄像头

// 17里都是通过v4l2_write_attr来调用的
17. for ()
ioctl(4, VIDIOC_S_CTRL // 设置属性
ioctl(4, VIDIOC_S_INPUT // 设置输入源
ioctl(4, VIDIOC_S_STD // 设置标准(制式), 不是必需的

// v4l2_nextframe > v4l2_waiton
18. v4l2_queue_all
v4l2_waiton
for ()
{
select(5, [4], NULL, NULL, { 5, 0}) = 1 (in [4], left { 4, 985979})
ioctl(4, VIDIOC_DQBUF // de-queue, 把缓冲区从队列中取出
// 处理, 之以已经通过mmap获得了缓冲区的地址, 就可以直接访问数据
ioctl(4, VIDIOC_QBUF // 把缓冲区放入队列
}

  • xawtv的几大函数：
  1. v4l2_open
  2. v4l2_read_attr/v4l2_write_attr
  3. v4l2_start_streaming
  4. v4l2_nextframe/v4l2_waiton
  • 由应用程序反推摄像头驱动程序必需的11个ioctl
// 表示它是一个摄像头设备
.vidioc_querycap      = vidioc_querycap,

/* 用于列举、获得、测试、设置摄像头的数据的格式 */
.vidioc_enum_fmt_vid_cap = vidioc_enum_fmt_vid_cap,
.vidioc_g_fmt_vid_cap = vidioc_g_fmt_vid_cap,
.vidioc_try_fmt_vid_cap = vidioc_try_fmt_vid_cap,
.vidioc_s_fmt_vid_cap = vidioc_s_fmt_vid_cap,

/* 缓冲区操作: 申请/查询/放入队列/取出队列 */
.vidioc_reqbufs = vidioc_reqbufs,
.vidioc_querybuf = vidioc_querybuf,
.vidioc_qbuf = vidioc_qbuf,
.vidioc_dqbuf = vidioc_dqbuf,

// 启动/停止
.vidioc_streamon = vidioc_streamon,
.vidioc_streamoff = vidioc_streamoff,

分析数据从驱动获取过程：

  1. 请求分配缓冲区: ioctl(4, VIDIOC_REQBUFS // 请求系统分配缓冲区

    vb2_core_reqbufs(队列, p->memory, &p->count); // 队列在open函数用kzalloc(sizeof(*fh), 												GFP_KERNEL);初始化分配内存

   
   
    
   
   
    • 1

  2. 查询映射缓冲区:

    ioctl(4, VIDIOC_QUERYBUF         // 查询所分配的缓冲区
     vb2_ioctl_querybuf        // 获得缓冲区的数据格式、大小、每一行长度、高度            
		vb2_querybuf
			vb2_core_querybuf
				call_void_bufop
					q->buf_ops->op(args);

  3. 把缓冲区放入队列:

ioctl(4, VIDIOC_QBUF             // 把缓冲区放入队列        
 vb2_ioctl_qbuf
	vb2_qbuf
		vb2_core_qbuf
			call_vb_qop(vb, buf_out_validate, vb);
				((vb)->vb2_queue->ops->op ? (vb)->vb2_queue->ops->op(args) : 0)

​

  1. 启动摄像头
ioctl(4, VIDIOC_STREAMON
 vb2_ioctl_streamon
    vb2_streamon
	vb2_core_streamon(q, type);
		vb2_start_streaming(q);
			call_qop
				q->start_streaming_called = 1;	/* Tell the driver to start streaming 													*/
				((q)->ops->op ? (q)->ops->op(args) : 0)

​

  1. 用select查询是否有数据
    /

    / 驱动程序里必定有: 产生数据、唤醒进程
    vb2_fop_poll
		vb2_poll
			vb2_core_poll(q, file, wait)
				//获取poll事件
				poll_requested_events	
				// 如果没有数据则休眠                			
          		poll_wait(file, &buf->done, wait);
			//被唤醒后，从队列的头部获得缓冲区
				vb = list_first_entry(&q->done_list, struct vb2_buffer,
    				done_entry);
谁来产生数据、谁来唤醒它？
     内核线程vivid_thread_vid_out_tick每30MS执行一次，它调用 
    vivid_thread_vid_out_tick
	vb2_buffer_done
		call_void_memop(vb, finish, vb->planes[plane].mem_priv);//产生数据同步缓冲区
		wake_up(&q->done_wq);  // 唤醒进程
 
    有数据后从队列里取出缓冲区
     // 有那么多缓冲区，APP如何知道哪一个缓冲区有数据？调用VIDIOC_DQBUF
     ioctl(4, VIDIOC_DQBUF
     
    vb2_ioctl_dqbuf
	vb2_dqbuf
		vb2_core_dqbuf
			__vb2_get_done_vb
			call_void_bufop	/* Fill buffer information for the userspace */
			list_del(&vb->queued_entry);/* Remove from videobuf queue */
			__vb2_dqbuf(vb);/* go back to dequeued state */
style="color: rgb(153, 153, 153);">7

  2. 应用程序根据VIDIOC_DQBUF所得到缓冲区状态，知道是哪一个缓冲区有数据
    就去读对应的地址(该地址来自前面的mmap)

四、总结怎么写摄像头驱动程序:

  1. 分配video_device:video_device_alloc
  2. 设置
    .fops
    .ioctl_ops (里面需要设置11项)
    如果要用内核提供的缓冲区操作函数，还需要构造一个videobuf_queue_ops
  3. 注册: video_register_device

参考资料

szembed
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
linux应用项目（二）摄像头（2）从零写一个V4L2虚拟摄像头驱动之详细分析
风雨无阻
06-22 7521
一、框架搭建 内核在V4l2-dev.c (linux-3.4.2\drivers\media\video) 中提供了V4L2的核心函数。我们再来看一下整体框架： 我们要做的是写个硬件相关驱动，其中用到了核心层V4l2-dev提供的API函数。比如内核 中的vivi.c，是一个虚拟视频驱动+虚拟摄像头的例子。实际中我们需要检测到摄像头设备，然后在调用注册函数，产生/dev/vide
Linux 摄像头驱动
ZZzhu222的博客
06-09 1828
初识linux驱动
探秘Linux假背景摄像头工具：Linux-Fake-Background-Webcam
最新发布
gitblog_00060的博客
04-25 372
探秘Linux假背景摄像头工具：Linux-Fake-Background-Webcam 项目地址:https://gitcode.com/fangfufu/Linux-Fake-Background-Webcam 在远程工作和在线会议日益普及的时代，保护个人隐私和提供专业背景的需求也越来越强烈。Linux-Fake-Background-Webcam 是一个专为Linux用户设计的开源项目，它能...
【Linux驱动】Linux--V4L2视频驱动框架
记录嵌入式技能成长的博客
03-26 1806
基于Linux5.4的V4L2视频驱动框架介绍分析，记录了最简单的视频驱动框架。
【转载】linux摄像头驱动
weixin_45495051的博客
01-24 1880
Linux摄像头驱动学习第一篇，对虚拟视频驱动Video Driver(vivid)进行测试、分析、编写。V4L2(Video for Linux two)是Linux内核中关于的内核，为上层的访问底层的视频设备提供了统一的接口。
[转]Linux操作系统摄像头驱动的安装
自动驾驶与智能制造--深度学习
11-15 6075
<br />Linux操作系统摄像头驱动的安装<br />a) 请根据内核版本和摄像头类型从http://mxhaard.free.fr/download.html 选择下载最新驱动，该驱动支持市面上大多数摄像头。<br /> b) 编译、安装以及装载摄像头驱动<br /> c <br /> ) # tar xvzf gspcav1-20061216.tar.gz<br /> # cd gspcav1-20061216<br /> # make<br /> # make install<br
V4L2-虚拟摄像头驱动
04-23 1080
【目的】在linux平台上创建虚拟摄像头设备/dev/video2，实现了V4L2的接口； 【意义】1、熟悉V4L2的内核层面和驱动层面的一些接口操作； 2、原始数据的帧缓存自定义； 【平台】ARM-IMX6Q硬件平台试验 【驱动】 驱动的核心思想，就是queue入队列添加到queue出队列。 1、video_register_device()注册video设备：/dev/video2，初始化相关工作链表；...
Linux usb摄像头驱动
05-30
总之，移植Linux USB摄像头驱动涉及到对Linux内核、USB协议和V4L2框架的深入理解，同时需要具备一定的C语言编程能力。通过以上步骤，你可以成功地将USB摄像头驱动移植到Linux系统中，实现硬件设备的有效利用。
vivid-editor:动画文字编辑器
03-20
npm install --save vivid-editor or yarn add vivid-editor 快速开始 import React from "react" ; import { Editor } from "vivid-editor" ; const App = ( ) => { const onChange = React . useCallback ( ( ...
linaro-vivid-gnome-20151215-714.tar.gz
02-05
xlinux的FPGA移植Linux图形化操作系统，有两个版本714和114 arm处理器32位和64位硬件支持不同
cpp-vivid一个简单易用的c颜色库
08-16
在提供的压缩包 "gurki-vivid-58bb6a0" 中，很可能包含了cpp-vivid库的源代码、示例、文档和可能的测试用例。通过查看这些文件，开发者可以深入理解库的工作原理，并将其集成到自己的项目中。为了充分利用cpp-vivid...
经典的虚拟摄像头程序
06-30
搜寻了好久了,经典的例子,模拟摄像头的实现 在amcap和graphedit中点属性页可以调整。
嵌入式Linux下USB摄像头驱动实现.pdf
09-06
嵌入式Linux下USB摄像头驱动实现.pdf
Video2Webcam(虚拟摄像头) v3.6.6.6 官方版.zip
07-08
今天小编要给大家介绍一款简单好用的虚拟摄像头软件——Video2Webcam。本软件最大的特色就是可以帮助你在和别人聊天的时候，实现播放准备好的视频来替代当前摄像头影响，在和好友聊天开视频的时候，当我们没有摄像头的情况下，可以选择使用Video2Webcam虚拟摄像头播放视频，从而达到真实聊天效果的目的。软件也可以用与好友分享一段你刚找到的一个非常精彩的视频剪辑，或者是自已刚刚制作的，并支持各种媒体文件格式。软件界面美观简洁、简单全面、实用方便，无需培训，即可快速上手，轻轻松松完成日常虚拟摄像头功能，真正做到简单全面实用。是用户实现虚拟摄像头功能的好帮手。 Video2Webcam(虚拟摄像头) 软件特色 支持在视频聊天中分享视频； 虚拟摄像头； 能够在虚拟摄像头与真实摄像头之间快速切换； 支持avi, asf, flv, mp4, mpeg, mpg, ram, rm, rmvb, wmv等全部音频格式； 支持jpg, gif, bmp, png等图片格式； 支持几乎所有的摄像头设备。 Video2Webcam(虚拟摄像头)截图
linaro-vivid-gnome-20151215-114.tar.gz
02-05
xlinux的FPGA移植Linux图形化操作系统，有两个版本714和114 arm处理器32位和64位硬件支持不同
测试虚拟驱动vivi
weixin_52849254的博客
05-07 522
安装自带vivid及依赖,这里先使用modprobr加载vivid，会将其依赖一并加载，然后再卸载vivid，最后加载上我们编译的vivid.ko。但是在正则表达式去搜索文件定义的时候发现vivid目录下所有文件都没有定义过，所以我直接选择进行出问题的地方进行注释。修改Makefile,也就是加入vivid-cec.o,因为如果不加入的话,会提示缺少符号。1．让VMWAER处于前台，接上USB摄像头，可以看到生成了/dev/video0。在这个网站创建新的sources.list。
vivid驱动框架
daiban2的专栏
09-04 213
linux vivid驱动框架
Linux camera框架分析
m0_54818870的博客
11-29 127
本文内核版本为4.1.15本文介绍的是内核自带的vivid代码，分析Linux camera框架，是Linux内核中的基于V4L2的video驱动。
Windows 虚拟摄像头驱动开发之 基于AVstream流内核的摄像头驱动
fanxiushu的专栏
03-02 7238
by fanxiushu 202-03-01 转载或引用请注明原始作者。 对于windows平台下的虚拟摄像头实现方式的研究比较多，范围也比较广，曾采用各种方式来实现windows平台下的虚拟摄像头。 从CSDN上的第一篇文章开始：https://blog.csdn.net/fanxiushu/article/details/8496747 （虚拟摄像头驱动原理开发） 文章描述的是利用老的流内核来...
VIVID-Ship数据集
05-11
VIVID-Ship是一个用于船舶检测和跟踪的开放数据集，由日本国土交通省和日本电气公司（NEC）共同开发。该数据集包括来自卫星和船舶自动识别系统（AIS）的高分辨率船舶图像，并提供了船舶位置、速度和航向等信息。VIVID-Ship数据集旨在为船舶检测和跟踪算法的开发提供基准测试和评估，并可用于海洋和航运领域的应用研究。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值