高通msm-V4L2-Camera驱动浅析2-框架详解

最新推荐文章于 2024-05-28 23:01:46 发布
最新推荐文章于 2024-05-28 23:01:46 发布
阅读量2.2k 收藏 11
点赞数 1
分类专栏： Camera专题 文章标签： camera
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/justXiaoSha/article/details/122184623
版权

##系列文章
##系列文章
高通msm-V4L2-Camera驱动浅析1-初识
高通msm-V4L2-Camera驱动浅析2-框架详解
高通msm-V4L2-Camera驱动浅析3-session

前言

一些推荐的文章
深入理解Android相机体系结构之八
msm8996平台的 camera 框架笔记
Camera Kernel 驱动层代码逻辑分析

上一篇文章结合V4L2框架的知识，对高通v4l2 camera驱动进行简单分析。
本文聊聊qcom的camera内核框架设计和一些相关概念。

一、Camera内核驱动框架

msm框架把Camera系统分为 msm-config 和 msm-sensor 两部分：

  • msm-config：用于创建v4l2_device，用于管理所有的子设备，同时生成/dev/video0设备节点，暴露控制接口给用户空间使用，主要包括了session/stream的创建与销毁，event事件的分发，另外，还创建了media_device，用于暴露枚举接口给用户来轮询查找整个内核的子设备。

相关源码：kernel/msm-4.9/drivers/media/platform/msm/camera_v2/msm.c

  • msm-sensor：创建一个v412_device,用于管理sensor，比如sensor 的初始化，启动流，关闭流，图像buf的管理等，同时创建video1/video2设备节点暴露接口给用户空间进行访问。

相关源码：kernel/msm-4.9/drivers/media/platform/msm/camera_v2/camera/camera.c

ps:我当前的机器有前摄和后摄，因此就有2个节点：video1，video2。

框架源码路径：kernel/msm-4.9/drivers/media/platform/msm/camera_v2/

camera/      fd/          ispif/       jpeg_dma/    Makefile     msm.c        msm_sd.h     pproc/       
common/      isp/         jpeg_10/     Kconfig      msm_buf_mgr/ msm.h        msm_vb2/     sensor/

我们主要关注以下模块：

  • msm.c： 所有qcom camera相关设备的管理,提供session、stream、event、vb2_queue等接口的创建和删除
  • camera/：用于控制sensor，提供了ioctl_ops，如启动流，qbuf和dqbuf，subscribe_event等
  • sensor/：具体的硬件驱动，例如sensor、eeprom、actuator、ois等

其他的模块，如fd-人脸识别相关，jpeg编码相关等，未来有机会再分析！

二、msm.c

kernel/msm-4.9/drivers/media/platform/msm/camera_v2/msm.c

2.1 开机时加载msm模块
static int __init msm_init(void)
{
	return platform_driver_register(&msm_driver);
}

static void __exit msm_exit(void)
{
	platform_driver_unregister(&msm_driver);
}
module_init(msm_init);
module_exit(msm_exit);
MODULE_DESCRIPTION("MSM V4L2 Camera");
MODULE_LICENSE("GPL v2");

开机时，会加载msm模块，内核匹配设备和驱动，当设备和驱动匹配时，就会调用msm_probe函数。

2.2 msm_probe
static int msm_probe(struct platform_device *pdev)
{
···省略部分源码
    //初始化media_device
    media_device_init(msm_v4l2_dev->mdev);
    strlcpy(msm_v4l2_dev->mdev->model, "msm-config",sizeof(msm_v4l2_dev->mdev->model));    
     //注册一个媒体设备,其名称(model)为:msm-config
    rc = media_device_register(msm_v4l2_dev->mdev);
    //注册一个v4l2_device实例
    rc = v4l2_device_register(&(pdev->dev), pvdev->vdev->v4l2_dev);
    //绑定fops
    pvdev->vdev->fops     = &msm_fops;
    //绑定ioctl_ops
    pvdev->vdev->ioctl_ops = &g_msm_ioctl_ops;
    //v4l2_device实例名称为"msm-config"
    strlcpy(pvdev->vdev->name, "msm-config", sizeof(pvdev->vdev->name));
   //注册一个视频设备
    rc = video_register_device(pvdev->vdev,VFL_TYPE_GRABBER, -1);
    //初始化一个会话队列
    msm_init_queue(msm_session_q);
}

  • 注册了一个媒体设备，创建**/dev/media0设备节点，这里我们注册的媒体设备名称(model)为：msm_config。
    上层可以通过IOCTL指令：MEDIA_IOC_ENUM_ENTITIES，枚举所有的media设备，然后根据设备名称    msm_config找到的/dev/video0**节点。

  • 注册了v4l2_device实例，该结构体里面有一个链表：struct list_head subdevs，所有的子设备都会添加都该subdevs链表里面，方便维护。

  • 注册一个视频设备，创建**/dev/video0设备节点，给用户空间使用，其本质上是一个字符设备，提供fops和ioctl_fops**给上层使用。

  • 初始化一个session队列，所有的session都添加到这个队列中，方便管理维护。

2.3 提供fops给用户空间使用
static struct v4l2_file_operations msm_fops = {
	.owner  = THIS_MODULE,
	.open   = msm_open,
	.poll   = msm_poll,
	.release = msm_close,
	.unlocked_ioctl   = video_ioctl2,
#ifdef CONFIG_COMPAT
	.compat_ioctl32 = video_ioctl2,
#endif
};

static const struct v4l2_ioctl_ops g_msm_ioctl_ops = {
	.vidioc_subscribe_event = msm_subscribe_event,
	.vidioc_unsubscribe_event = msm_unsubscribe_event,
	.vidioc_default = msm_private_ioctl,
};

v4l2_file_operations：

  • msm_open：创建event队列
  • msm_poll：轮询event队列
  • msm_close：释放相关资源

v4l2_ioctl_ops：

  • msm_subscribe_event：订阅事件
  • msm_unsubscribe_event：注销事件
2.4 msm_open

在msm_probe中，注册了一个媒体设备**/dev/media0**,
上层可以通过IOCTL指令：MEDIA_IOC_ENUM_ENTITIES，枚举所有的media设备，
然后根据设备名称msm_config找到的/dev/video0节点。
具体逻辑代码如下：

vendor/qcom/proprietary/mm-camera/mm-camera2/media-controller/mct_shim_layer/mct_shim_layer.c

int mct_shimlayer_process_module_init(mm_camera_shim_ops_t
  *shim_ops_tbl)
{
    //该函数通过MEDIA_IOC_ENUM_ENTITIES指令枚举所有媒体设备，
    //然后通过媒体设备名称msm_config找到/dev/video0节点
    get_config_node_name(config_node_name);

    snprintf(dev_name, sizeof(dev_name), "/dev/%s", config_node_name);
    //用户空间调用了open方法，dev_name = "/dev/video0"
    config_fd = open(dev_name, O_RDWR | O_NONBLOCK);
}

用户空间调用open(dev_name, O_RDWR | O_NONBLOCK)打开设备节点**/dev/video0**,通过VFS文件系统，最终会调用到msm_open函数。

static int msm_open(struct file *filep)
{
	int rc = -1;

	/* create event queue */
	rc = v4l2_fh_open(filep);
<=========================>
        int v4l2_fh_open(struct file *filp)
        {
	    struct video_device *vdev = video_devdata(filp);
	    struct v4l2_fh *fh = kzalloc(sizeof(*fh), GFP_KERNEL);

	    filp->private_data = fh;
	    if (fh == NULL)
		    return -ENOMEM;
	    v4l2_fh_init(fh, vdev);//初始化v4l2_fh
	    v4l2_fh_add(fh);//添加v4l2_fh到video_device
	    return 0;
        }
<=========================>

	/* register msm_v4l2_pm_qos_request */
	msm_pm_qos_add_request();

	return rc;
}

msm_open中，主要完成了v4l2_fh的初始化工作，后续所有的event都由v4l2_fh管理。

v4l2_fh结构体是用来描述event队列,通常在打开设备节点时进行v4l2_fh注册。

v4l2_fh_init(fh, vdev)：初始化v4l2_fh，添加v4l2_ctrl_handler到v4l2_fh：fh->ctrl_handler = vdev->ctrl_handler;

v4l2_fh_add(fh)：添加v4l2_fh到video_device，方便核心层调用到。

关于v4l2_fh，可以参考以下文章：
linux v4l2学习之-消息机制

2.5 流的管理
  • msm_create_stream：创建流
  • msm_delete_stream：删除流
  • msm_get_stream ：获取流
  • __msm_queue_find_stream：查找流

当然还有其他流的操作，就不全部一一列出来了。

三、camera.c分析

kernel/msm-4.9/drivers/media/platform/msm/camera_v2/camera/camera.c

3.1 sensor_probe

vendor/qcom/proprietary/mm-camera/mm-camera2/media-controller/modules/sensors/module/sensor_init.c

static boolean sensor_probe(···)
{
    struct sensor_init_cfg_data          cfg;
  /* Pass slave information to kernel and probe */
  memset(&cfg, 0, sizeof(cfg));
  cfg.cfgtype = CFG_SINIT_PROBE;
  cfg.cfg.setting = slave_info;
  if (ioctl(fd, VIDIOC_MSM_SENSOR_INIT_CFG, &cfg) < 0) {
    SINFO("[%s]CFG_SINIT_PROBE failed",sensor_name);
    ret = FALSE;
    goto ERROR;
  }
}
  • 通过IOCTL命令：VIDIOC_MSM_SENSOR_INIT_CFG，调用到msm_sensor_driver_cmd(s_init, arg)，
  • 通过CFG_SINIT_PROBE调用到msm_sensor_driver_probe(···）；
  • msm_sensor_driver_probe函数会调用camera_init_v4l2进行初始化
3.2 camera_init_v4l2
int camera_init_v4l2(struct device *dev, unsigned int *session)
{
	struct msm_video_device *pvdev;
	struct v4l2_device *v4l2_dev;
	int rc = 0;
···省略部分源码
#if defined(CONFIG_MEDIA_CONTROLLER)
    //初始化media_device
	media_device_init(v4l2_dev->mdev);
	strlcpy(v4l2_dev->mdev->model, "msm_camera",
			sizeof(v4l2_dev->mdev->model));

	v4l2_dev->mdev->dev = dev;
    //注册一个媒体设备,其名称(model)为:msm_camera
	rc = media_device_register(v4l2_dev->mdev);
	rc = media_entity_pads_init(&pvdev->vdev->entity, 0, NULL);
#endif

	pvdev->vdev->v4l2_dev = v4l2_dev;
    //注册一个v4l2_device实例
	rc = v4l2_device_register(dev, pvdev->vdev->v4l2_dev);
	strlcpy(pvdev->vdev->name, "msm-sensor", sizeof(pvdev->vdev->name));

    //绑定fops
	pvdev->vdev->fops     = &camera_v4l2_fops;
    //绑定ioctl_ops
	pvdev->vdev->ioctl_ops = &camera_v4l2_ioctl_ops;
    //设置视频设备的能力
	pvdev->vdev->device_caps = V4L2_CAP_VIDEO_CAPTURE | V4L2_CAP_STREAMING;
    //注册一个视频设备，名称为:msm-sensor
	rc = video_register_device(pvdev->vdev,VFL_TYPE_GRABBER, -1);
	return rc;
}

  • 注册一个媒体设备,生成节点**/dev/media1**,其名称(model)为:msm-camera

  • 注册一个v4l2_device实例

  • 绑定fops和ioctl_ops

  • 注册一个视频设备，生成节点**/dev/video1**,其名称为:msm-sensor

3.3 提供fops给用户空间使用
static struct v4l2_file_operations camera_v4l2_fops = {
	.owner   = THIS_MODULE,
	.open	= camera_v4l2_open,
	.poll	= camera_v4l2_poll,
	.release = camera_v4l2_close,
	.unlocked_ioctl   = video_ioctl2,
#ifdef CONFIG_COMPAT
	.compat_ioctl32 = camera_v4l2_compat_ioctl,
#endif
};

static const struct v4l2_ioctl_ops camera_v4l2_ioctl_ops = {
	.vidioc_querycap = camera_v4l2_querycap,
	.vidioc_s_crop = camera_v4l2_s_crop,
	.vidioc_g_crop = camera_v4l2_g_crop,
	.vidioc_queryctrl = camera_v4l2_queryctrl,
	.vidioc_g_ctrl = camera_v4l2_g_ctrl,
	.vidioc_s_ctrl = camera_v4l2_s_ctrl,
	.vidioc_reqbufs = camera_v4l2_reqbufs,
	.vidioc_querybuf = camera_v4l2_querybuf,
	.vidioc_qbuf = camera_v4l2_qbuf,
	.vidioc_dqbuf = camera_v4l2_dqbuf,
	.vidioc_streamon =  camera_v4l2_streamon,
	.vidioc_streamoff = camera_v4l2_streamoff,
	.vidioc_g_fmt_vid_cap_mplane = camera_v4l2_g_fmt_vid_cap_mplane,
	.vidioc_s_fmt_vid_cap_mplane = camera_v4l2_s_fmt_vid_cap_mplane,
	.vidioc_try_fmt_vid_cap_mplane = camera_v4l2_try_fmt_vid_cap_mplane,

	/* Stream type-dependent parameter ioctls */
	.vidioc_g_parm = camera_v4l2_g_parm,
	.vidioc_s_parm = camera_v4l2_s_parm,

	/* event subscribe/unsubscribe */
	.vidioc_subscribe_event = camera_v4l2_subscribe_event,
	.vidioc_unsubscribe_event = camera_v4l2_unsubscribe_event,
	.vidioc_default = camera_v4l2_vidioc_private_ioctl,
};
3.4 会话的创建

应用会调用my_obj->ctrl_fd = open(dev_name, O_RDWR | O_NONBLOCK);
通过VFS文件系统，最终会调用到camera_v4l2_open。

static int camera_v4l2_open(struct file *filep)
{
...省略部分源码
    //v4l2_fh的初始化工作，后续所有的event都由v4l2_fh管理
    camera_v4l2_fh_open(filep);
	/* every stream has a vb2 queue */
    //初始化vbuffer2_queue
	rc = camera_v4l2_vb2_q_init(filep)
	if (!atomic_read(&pvdev->opened)) {
		/* create a new session when first opened */
        //创建一个会话，添加到会话队列中
		rc = msm_create_session(pvdev->vdev->num, pvdev->vdev);
    //创建一个cmd队列
		rc = msm_create_command_ack_q(pvdev->vdev->num,
			find_first_zero_bit((const unsigned long *)&opn_idx,
				MSM_CAMERA_STREAM_CNT_BITS));
    }
}
  • 初始化v4l2_fh，所有的event都由v4l2_fh管理
  • 始化vbuffer2_queue
  • 创建一个会话，添加到会话队列中
  • 创建一个cmd队列
3.5 stream的创建
static int camera_v4l2_s_parm(struct file *filep, void *fh,
	struct v4l2_streamparm *parm)
{
	int rc = 0;
	struct v4l2_event event;
  ···省略部分源码
	rc = msm_create_stream(event_data->session_id,event_data->stream_id, &sp->vb2_q);

	return rc;
}

Stay Hungry，Stay Foolish!

c枫_撸码的日子
关注
  • 1
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
高通Camera架构之mm-camera与Camx其区别(二十九)
Android系统攻城狮
06-20 1537
本篇目的：介绍高通Camera架构mm-camera和Camx的区别其中 camx 代表了通用功能性接口的代码实现集合（CamX），chi-cdk代表了可定制化需求的代码实现集合（CHI），从图中可以看出Camx部分对上作为HAL3接口的实现，对下通过v4l2框架与Kernel保持通讯，中间通过互相dlopen so库并获取对方操作接口的方式保持着与CHI的交互。core/ ： 用于存放camx的核心实现模块，其中还包含了主要用于实现hal3接口的hal/目录，以及负责与CHI进行交互的chi/目录。
高通平台相机V4L2框架探究
manbuyuzhong87的博客
04-01 695
高通平台相机V4L2框架探究
Android8.1 startPreview流程分析（二）
zjy764219923的专栏
04-17 1182
一、startPreview流程分析到HAL层后开始分析vendor目录： 通过调mm_camera_module_send_cmd，与vendor/qcom/下面的mct_shim_layer.c通信 /hardware/qcom/camera/QCamera2/stack/mm-camera-interface/src/mm_camera_interface.c 3381 int32_t...
RK3568平台（camera篇）V4L2摄像头应用编程
最新发布
weixin_49303682的博客
05-28 962
V4L2 (Video4Linux2)是Linux内核中的一个框架，提供了一套用于视频设备驱动程序开发的API。它是一个开放的、通用的、模块化的视频设备驱动程序框架，允许Linux操作系统和应用程序与各种视频设备（如摄像头、视频采集卡等）进行交互。V4L2提供了一个通用的API，使应用程序能够访问和控制视频设备，包括获取设备信息、设置设备参数、采集视频数据、控制设备状态等。V4L2还提供了一个统一的视频数据格式，允许应用程序在处理视频数据时无需考虑设备的具体格式。
Android Camera 从应用层看V4L2驱动框架
weixin_49303682的博客
08-24 1667
V4L2可用于采集图片、视频和音频数据的通用 API 接口，配合适当的视频采集设备和相应的驱动程序，可以实现图片、视频、音频等的采集。 使用 V4L2 进行视频采集，一般分为 5 个步骤： （1） 打开设备，进行初始化参数设置，通过 V4L2 接口设置视频图像的采集 窗口、采集的点阵大小和格式； （2） 申请图像帧缓冲，并进行内存映射，将这些帧缓冲区从内核空间映射 到用户空间，便于应用程序读取、处理图像数据； （3） 将帧缓冲进行入队操作，启动视频采集； （4） 驱动开始视频数据的采集，应用程序从视频
学习Camera之——V4L2视频输入框架概述
转载和创作优秀的博客
04-09 1178
V4L2框架简介 几乎所有的设备都有多个 IC 模块，它们可能是实体的（例如 USB 摄像头里面包含 ISP、sensor 等）、 也可能是抽象的（如 USB 设备里面的抽象拓扑结构），它们在 /dev 目录下面生成了多个设备节点， 并且这些 IC 模块还创建了一些非 v4l2 设备：DVB、ALSA、FB、I2C 和输入设备。正是由于硬件的 复杂性，v4l2 的驱动也变得非常复杂。 特别是 v4l2 驱动要支持 IC 模块来进行音/视频的混合/编解码操作，这就更加使得 v4l2 驱动变得 异常复.
高通camera chi-cdk feature2框架介绍
07-18
高通camera chi-cdk feature2框架介绍 高通Camera Chi-CDK Feature2框架是一个专门为高通camera设计的框架，旨在提高camera应用程序的性能和效率。在本文中，我们将详细介绍Feature2框架的架构、组件、工作流程和...
ais-v4l2-proxy
03-04
ais-v4l2-proxy
高通-C-V2X-Whitepaper.pdf
02-04
高通 C-V2X 白皮书 Part 1: 驱动智能交通 高通的 C-V2X 白皮书介绍了 Cellular Vehicle to Everything (C-V2X) 技术如何改变美国的交通系统。C-V2X 技术支持直接、低延迟的通信 zwischen 车辆 (V2V)、道路基础设施...
高通HS-USB驱动 2.1.0.3，Qualcomm HS-USB Driver，QDLoader 9008
03-28
高通平台手机 Modem、网络、调试COM口 等的驱动 驱动版本 2.1.0.3 是目前最新版本的驱动了，支持如下 Qualcomm HS-USB QDLoader 9008 Qualcomm HS-USB Diagnostics ...等等很多高通平台手机调试所需的驱动
qcarcam v4l2 camera hal测试程序
04-22
《Qcarcam V4L2 Camera HAL测试程序详解》 在深入探讨Qcarcam V4L2 Camera HAL测试程序之前，我们首先需要了解几个关键概念。Android系统在处理摄像头硬件时，采用了一种称为硬件抽象层（HAL）的机制，它使得上层...
Android Camera 高通驱动KMD框架
weixin_49303682的博客
07-10 2157
一、概览 利用了V4L2可扩展这一特性，高通在相机驱动部分实现了自有的一套KMD框架，该框架通过V4L2标准方法在系统中创建设备节点，将控制接口直接暴露给UMD CSL进行访问，而其内部主要定义了一系列核心模块，包括CRM(Camera Request Manager)，用于管理整个KMD的Session/Link的创建销毁以及Request的在子设备间的流转，该模块创建video0设备节点暴露关键接口给UMD，此外还包括了Sync模块，主要负责了UMD/KMD之间的数据同步与传输，创建video1设备节点
android camera(三)：camera V4L2 FIMC
jishublog
07-08 279
关键词：android camera CMM 模组 camera参数 CAMIF V4L2 平台信息: 内核：linux系统：android平台：S5PV310(samsung exynos 4210) android camera(一)：camera模组CMM介绍 android camera(二)：摄像头工作原理、s5PV310 摄像头接口（CAMIF） androi...
【精选】141 深度探索RK3568平台开发：Camera篇 - 实现V4L2驱动
一直在水些技术小文
11-03 304
RK3568是Rockchip公司推出的一款高性能嵌入式处理器，采用了ARM架构，搭载了Cortex-A55和Cortex-A76核心，配备了强大的GPU和多媒体引擎。这一处理器平台适用于各种应用，包括智能摄像头、智能家居、机器人、工业自动化和更多。在RK3568平台上实现V4L2驱动程序是一项复杂但关键的任务，特别是对于需要摄像头控制和视频流捕获的应用程序。本文中，我们简要介绍了RK3568平台和V4L2驱动程序的基本概念，并提供了一个简单的示例代码，演示了如何开发一个基本的V4L2驱动程序。
Camera | 7.瑞芯微rk3568平台摄像头控制器MIPI-CSI驱动架构梳理
一口Linux的专栏
04-12 7811
因为有拍照、录制视频、直播等刚需，现在手机的摄像头基本都是高清，支持高清摄像头的SoC都支持MIPI-CSI。不同SoC的MIPI-CSI在实现上有一定差别，即使同一厂家设计生产的芯片也都不尽相同。本文基于瑞芯微rk3568平台evb1公板为例来详细讲解MIPI-CSI/DPHY驱动。阅读本文之前，建议大家先仔细学习前面几篇文章。
19.学习Camera之——相机驱动层–V4L2框架解析
转载和创作优秀的博客
03-29 1978
相机驱动层–V4L2框架解析 一、概览 相机驱动层位于HAL Moudle与硬件层之间，借助linux内核驱动框架，以文件节点的方式暴露接口给 用户空间，让HAL Module通过标准的文件访问接口，从而能够将请求顺利地下发到内核中，而在内核 中，为了更好的支持视频流的操作，早先提出了v4l视频处理框架，但是由于操作复杂，并且代码无法 进行较好的重构，难以维护等原因，之后便衍生出了v4l2框架。 按照v4l2标准，它将一个数据流设备抽象成一个videoX节点，从属的子设备都对应着各自的 v4l2_s..
高通mm-camera_vendor
h_8410435的博客
06-14 2135
高通 mm-camera_vendor code 分析
Linux V4L2 - 消息机制
lemonzzt的博客
07-08 1481
V4L2， 消息机制

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值