关于CIS移植的一些基本概念

CH_Qing

已于 2023-11-10 11:33:23 修改

阅读量3.1k

点赞数 5

分类专栏：嵌入式移植专栏驱动开发文章标签： linux 驱动开发

于 2023-01-18 15:25:30 首次发布

本文链接：https://blog.csdn.net/changqing1990/article/details/128726559

版权

嵌入式移植专栏同时被 2 个专栏收录

45 篇文章 12 订阅

订阅专栏

驱动开发

29 篇文章 4 订阅

订阅专栏

1. 摄像头sensor 的原理

在这里插入图片描述
定时脉冲生成器会生成clock，用于访问image sensor 阵列中的行，预充电，并且按顺序采样像素阵列中的所有行。在一个行的预充电和采样的时间段里，像素的电荷量会随着曝光时间而逐渐减少。这就是快门结构中的曝光时间的概念。
可以通过调整预充电和采样的时间间隔，来调整曝光时间。当一个行的像素数据被采样后，会送至AMP模拟电路，去矫正偏移和提高相应的增益。然后被送往ADC, 阵列中的每个像素都会被转换为10bit的数据。

1.1 关于CIS图像采集的相关原理

图像采集的过程的为：

光照反射 -> 镜头汇聚 -> Sensor 光电转换 -> ADC转换 -> RAW RGB

Sensor的感光原理是通过一个一个的感光点对光进行采样和量化，我们将每个感光点叫做像素，所以，通常所说的30万像素或130万像素等，指的是有30万或130万个感光点。
但在Sensor中，每一个像素只能感光RGB中的某一种颜色，即每个像素只能感到R/G/B中的一种颜色。这种颜色通过ADC转换后，就形成了RAW RGB数据。 RAW RGB 数据是未经过处理的数据，表示sensor 接收到R/G/B的光照强度。我们常说的RAW8， RAW10 就是RAW RGB 8bit/10bit 数据。
如果这个原始数据的排列格式是 RGRG/GBGB排列的，我们叫做 Bayer pattern（这个最最常见）。所以 Bayer RGB是属于 RGB RAW data的，但是 RGB RAW data不一定是bayer pattern。

要还原一个真正图像，需要每一个像素点都有RGB三种颜色，所以，一般地都需要有一个ISP模块，会将Sensor采集到的RAWRGB数据进行插值和特效处理，例如：如果一个感光点感应的颜色是R，那么，ISP模块就会根据这个感光点周围的G、B感光点的数值来计算出此点的G、B值，那么，这一点的RGB值就被还原了。

2 CIS相关概念&计算公式

2.1 行消隐/场消隐

行消隐和场消隐的概念来源于老的电视视频制式NTSC和PAL，NTSC每秒刷新60次，PAL每秒刷新50次。电子枪从左到右画出像素，每次扫描一条线，画下一条之前要先回到左边并做好画下一条扫描线的准备，这之间有一段时间叫做水平消隐（HBlank）。画完全部扫描线后，又回到屏幕左上交准备画下一帧，这一段时间就是垂直消隐（VBlank）。

对于CMOS Sensor来说，也有VBlank和HBlank的概念，Rolling Sensor在曝光时候一次曝光一行，一般CMOS只有一行ADC用于转换电信号，转换好的数字信号逐像素顺序排列，每一行输出结束和下一行输出开始的间隔我们称为行消隐（HBlank），这一帧结束到下一帧开始这段时间称为场消隐（VBlank）。
在这里插入图片描述

2.2 行曝光

何为曝光，就是光透入到sensor到采样这一段过程，叫做曝光。为了好理解，你可以假想成采样是逐个pixel进行的，采集一行所需的时间，就是一行曝光的时间。采集一帧的时间，就是曝光时间。逐行曝光的sensor只有一行ADC。
在这里插入图片描述

2.3 相关计算公式

在计算相关公式前，我们先给给出一些概念

项目	描述
pclk（pixelclock）	曝光一个像素点需要的clock
width	有效图像宽度，也就是一行有效像素的个数 , 详见于CIS 的datasheet
height	有效图像宽度, 也就是有多少个像素行，详见于CIS 的datasheet
fps	帧速率，单位HZ
HTS	HTS=width + HBLANK
VTS	VTS = height + VBLANK
link_freq	链路的速率，即是MIPI-CSI 的clock

关于pixelclock 有如下关系：

pclk = （HTS*VTS）*fps = （width + HBLANK）*（height + VBLANK）*fps

关于曝光时间，计算如下：

exposure_line_time = HTS/pclk;
exposure_time = exposure_line_time * exposure_line

曝光时间就是开启一次快门，能曝光多少行。一帧图像需要多次曝光来完成。
exposure_line 是曝光的行数，一般是一个寄存器，用来控制曝光时间是多少倍的行曝光时间（exposure_line_time）。曝光行数最大就是VTS。

MIPI-CSI 链路速率计算公式如下：

link_freq = （pclk * bits_per_sample） /（2*nr_of_lanes）

变量	描述
nr_of_lanes	Number of data lanes used on the CSI-2 link. This can be obtained from the OF endpoint configuration.
2	Two bits are transferred per clock cycle per lane.
bits_per_sample	Number of bits per sample

要将CIS 产生的数据能够及时搬完，就至少需要link_freq 的频率。

3. CIS驱动移植相关

3.1 上电时序

这个简单，按照摄像头的datasheet 上的PowerOn/Off 时序做就可以。

一般的sensor 基本都需要AVDD，DOVDD 这两个电源，还有PWDN， RST两个控制pin，一般地按照datasheet 的时序拉起来就可以了。另外还有一个，容易被忽略的信号是Mclk，它主要给sensor 提供采集的pixelclock，有些sensor 也提供系统时钟，所以这个clk 出不来，sensor 就无法进行I2C 通信。

3.2 I2C 识别sensor

基本上完全按照datasheet的PowerOn/Off sequence 设定后，基本都能正常的识别sensor，如果不能识别，可以参照以下几个方面去排除问题:

I2C bus 能不能发送信号
如果不能发送信号请排除bus 的配置，时钟速率等。
检查上电时序是否正常
AVDD， DOVDD 是不是起来了，时序正常么？ PWDN/RST 的状态正常么等等。
MCLK 是否正常输出
有些sensor 需要MCLK 才能正常工作，否则无法识别。

我曾经就碰到过这个问题，发现RK3568 的 CLK_CAM0_OUT 作为MCLK 就是出不来，驱动里使能时钟也没有clock输出，

ret = clk_prepare_enable(ov426->xclk);
if (ret < 0) {
	dev_err(&client->dev, "Failed to enable xvclk\n");
	return ret;
}
clk_set_rate(ov426->xclk, 24000000);

最后把该pin 的pinmux 和Clock的相关寄存器打印出来都确认了一遍都没有问题。最后问RK 说是该clock 的电源域没有打开，所以有在设备树中sensor 节点加了电源域的配置,

ov426: ov426@36 {
		......
		clocks = <&cru CLK_CAM0_OUT>;
		clock-names = "xclk";
		power-domains = <&power RK3568_PD_VI>;  /* 电源域配置*/
		.....
	};

然后在CIS driver 中使能clock前，加了以下代码

/* Enable power domain and own power*/
pm_runtime_enable(dev);
pm_runtime_get_sync(dev);
// Enable Xclk code

然后clock 才出来了。所以推荐大家在CIS driver 中使用pm_runtime_xxx 相关的API 来控制上电时序，因为它可以确保它依赖的电源/电源域全部被打开。

如果以上条件都排除了，那么很可能是sensor的硬件那里有问题，是不是smt没有接著好，sensor坏掉等原因。

3.3 CIS 驱动的核心实现

CIS 驱动最核心的部分是要实现下面的结构体

static const struct v4l2_subdev_ops ovxxx_subdev_ops = {
	.core	= &ovxxx_core_ops,
	.video	= &ovxxx_video_ops,
	.pad	= &ovxxx_pad_ops,
};

在RK Android 平台，v4l2_subdev_core_ops 必须实现以下三个函数：

static const struct v4l2_subdev_core_ops ovxxx_core_ops = {
	.s_power = ovxxx_s_power,
	.ioctl = ovxxx_ioctl,
#ifdef CONFIG_COMPAT
	.compat_ioctl32 = ovxxx_compat_ioctl32,
#endif
}

s_power 再/dev/video0 被open 时调用。该函数主要作用是控制sensor 的上电/关闭。一般都可以通过pm_runtime_xxx 相关函数来实现。如下demo 所示：

static int ovxxx_s_power(struct v4l2_subdev *sd, int on)
{
	....
	mutex_lock(&ovxxx->mutex);
	on = !!on;

	if (on){
		ret = pm_runtime_get_sync(&client->dev);
		if (ret < 0)
			pm_runtime_put_noidle(&client->dev);
	}else{
		pm_runtime_put(&client->dev);
	}

	mutex_unlock(&ovxxx->mutex);

	return ret;
}

ioctl 会被v4l2 core 的ioctl ，主要让上层读取摄像头的基本信息，和快速开启/关闭摄像头数据流。

在RK Android 平台，v4l2_subdev_video_ops必须实现以下三个函数：

static const struct v4l2_subdev_video_ops ovxxx_video_ops = {
	.s_stream = ovxxx_set_stream,
	.g_mbus_config = ovxxx_g_mbus_config,
	.g_frame_interval = ovxxx_g_frame_interval,
};

s_stream 是用户层通过ioctl时（/dev/video0），调用VIDIOC_STREAMON/OFF时，该函数被调用。
g_mbus_config是驱动必须要实现的接口，该接口用于获取支持的总线配置,总线类型存在DVP/MIPI/LVDS等几种类型,并口里面存在BT601/BT656/BT1120,MIPI存在DPHY/CPHY协议,控制器通过这个接口获取当前sensor使用的总线参数,来确认控制器的采集方式。
我们先来看一个DVP的g_mbus_config的实现：

static int ovxxx_g_mbus_config(struct v4l2_subdev *sd,
			     struct v4l2_mbus_config *cfg){
	cfg->type = V4L2_MBUS_PARALLEL;
	cfg->flags = V4L2_MBUS_HSYNC_ACTIVE_HIGH |
				V4L2_MBUS_VSYNC_ACTIVE_LOW |
			V4L2_MBUS_PCLK_SAMPLE_RISING;

	return 0;
}

对于DVP类型，必须配置总线的类型，hsync， vsync, 和pixelclock的极性。上层通过该接口来获取该摄像头的基础bus 配置信息。

比如使用mipi时,当Sensor支持多种MIPI传输模式时,可以根据Sensor当前使用的MIPI模式上传参数。例子如下：

static int ovxx_g_mbus_config(struct v4l2_subdev *sd,
			     struct v4l2_mbus_config *cfg){
	cfg->type = V4L2_MBUS_CSI2;
	cfg->flags = V4L2_MBUS_CSI2_1_LANE |
				V4L2_MBUS_CSI2_CHANNEL_0 |
				V4L2_MBUS_CSI2_CONTINUOUS_CLOCK;

	return 0;
}

对于MIPI-CSI 类型的摄像头，必须配置mipi bus 的type，使用mipi的几个lane，使用拿一个lane，CSI clock的类型等。在这里需要注意的是，MIPI-CSI 和MIPI-DSI 一样，它的Clock 电压大概在200mV左右，用示波器测量时，一定得注意。
g_frame_interval 一般实现的是max fps，可以参考其他driver 来实现。

v4l2-subdev PAD 级别的操作函数，其必须实现以下函数：

static const struct v4l2_subdev_pad_ops ovxx_pad_ops = {
	.get_fmt = ovxx_get_format,
	.set_fmt = ovxx_set_format,
	.enum_mbus_code = ovxx_enum_mbus_code,
	.enum_frame_size = ovxx_enum_frame_size,
	.enum_frame_interval = ovxx_enum_frame_interval,
};

get_fmt 和set_fmt 是ioctl 的VIDIOC_SUBDEV_G_FMT 和VIDIOC_SUBDEV_S_FMT 的最终调用函数。
enum_mbus_code 是应用层调用ioctl 的VIDIOC_SUBDEV_ENUM_MBUS_CODE的最终调用函数。
enum_frame_size 是应用层调用ioctl 的VIDIOC_SUBDEV_ENUM_FRAME_SIZE的最终调用函数。
enum_frame_interval 是应用层调用ioctl 的VIDIOC_SUBDEV_ENUM_FRAME_INTERVAL的最终调用函数。
大概CIS 驱动都是围绕以上的接口来实现的，实现了以上接口，CIS 的driver 工作基本就完成了。接下来就是CIS 的driver 调试了。

3.4 media-ctl 生成拓扑和数据流图

（1）media-ctl 工具
media-ctl是v41-utils软件包的其中一个工具，用于配置pipeline的应用程序，主要参数如下：

–device <dev>（默认为/ dev / media0）
–entity <名称>打印与给定实体关联的设备名称
–set-v4l2 <v4l2>逗号分隔要设置的格式列表
–get-v4l2 <pad>在给定的pad上打印活动格式
–set-dv <pad>在给定的对象上配置DV时序
–interactive交互式修改链接
–links <linux>逗号分隔要设置的链接描述符列表
–known-mbus-fmts列出已知格式及其数值
–print-topology打印设备拓扑
–reset将所有链接重置为非活动状态

（2）将拓扑生成dot文件
可以利用media-ctl工具将pipeline拓扑生成dot文件：

media-ctl -p  -d /dev/mediaX

这个需要和设备树中的isp 相对应，/dev/mediaX 从0～N，直到找到对应的ISP即可。

media-ctl --print-dot> media0.dot
media-ctl -d /dev/media1 --print-dot> media1.dot

（3）graphviz安装
下载地址：https://graphviz.org/download/
终端敲入：dot -version

（4）将dot转换为png图像
命令如下：

dot -Tpng InputFile.dot -o OutputFile.png

得到的图片类似如下图片：
在这里插入图片描述
一般通过main path/self path 来抓raw图。如果设备树所配置的逻辑和该图片的sink/source逻辑基本一致，说明设备树配置没有问题。

3.5 v4l2-ctl 抓原图

v4l2-ctl 抓图

$ ./v4l2-ctl -d /dev/video0 --get-crop  ## 默认采集窗口大小
Crop: Left 0, Top 0, Width 1920, Height 1080

## 设置采集窗口大小400x400
$ v4l2-ctl -d /dev/video0 --set-crop top=0,left=0,width=400,heigth=400  
## 以上两步一般除了很特殊的摄像头(如ov426)之外不需要操作
## 抓图
$ ./v4l2-ctl -d /dev/video0 --set-fmt-video=width=600,height=600,pixelformat='BG10' --stream-mmap=3 --stream-skip=20 --stream-to=/data/400p30.raw --stream-count=5 --stream-poll
<<<<<<<<<< 30fps  ## 如果成功就会打印该消息，并将数据写进文件中

如果抓不到就会报错，或者目标文件中没有内容。否则有上面的输出结果就表示抓图成功。
之前还遇到过./v4l2-ctl 抓图时，只报select timeout 的错误，后来确认了MIPI-CSI 的总线配置，lane配置，和上电时序后，就okay 了。

使用V4L2工具抓图没有报错，有正常的数据输出，且使用V4L2的命令可以实现曝光增益等的控制，即可认为驱动基本没问题了。

4. Android 层的移植工作

如果用v4l-ctl 可以正常抓图，基本CIS 驱动就没有问题了，接下来就是安卓层的适配了。

确认HAL层注册sensor 是否成功？

dumpsys media.camera

如果发现sensor 的数量是0，就表示没有成功，需要确认以下几个方面：

CIS driver 中，subdev 的名字格式：
例如 m00_b_ov426
m00 ： moduleId
b： back，后置摄像头
ov426：驱动名
检查name和moduleID这两个属性是否和 CIS 的subdev 中的name 和moduleID 一致，否则，就无法匹配成功。
如上所述的那些驱动接口，是不是正确
如enum_mbus_code， enum_frame_interval， enum_frame_size， g_mbus_config 等。

查看修改是否生效：

cat /vendor/camera/camera3_profiles.xml //查看该文件是否是修改过后的文件

如果驱动okay， android的所有问题均可通过logcat 查看是否有致命错误

logcat|grep "E RkCamera"
# Or
logcat|grep "XCORE"
## enable debug message
setprop persist.vendor.camera.hal.debug 5

查看是否是致命错误,以定位分析问题所在。

5. 摄像头中的概念

摄像头的3A 指的是AE/AF/AWB。下面我们详细描述。

5.1 自动曝光（Auto Exposure）-AE

曝光补偿是指拍摄者根据需要对相机所计算的亮度进行调整。曝光是测量被摄体反射的光量得到的。在画面内有较多白色的被摄体时，相机会判断画面过亮而降低曝光；画面中较多黑色被摄体时，相机会判断画面过暗而增强曝光（白加黑减原理）。

自动曝光算法可以理解为一个伺服系统，它不断监控ISP生成的每一帧图像的曝光状态，如果发现采集到的状态与理想目标发生偏离（超过容许范围）则立即进行干预响应，使系统尽快回到容许的工作范围内。

在一个响应周期内，AE算法需要处理的具体事项是：

根据ISP 硬件生成的图像曝光统计数据评估当前图像的曝光质量
如果曝光质量需要调整，则根据当前的工作参数和理想曝光目标生成下一帧图像的工作参数
将新的工作参数写入各硬件设备，驱动光圈、sensor 快门及增益到达新的位置

AE 算法的主要调控对象一般是光圈、sensor积分时间、sensor增益（包含模拟增益和数字增益）、ISP数字增益这四个参数。

5.2 自动对焦（Auto Focus） -AF

简单来说，就是当物体在分别在远景和近景的时候，对应的成像位置是不同的，需要调整镜头和感光芯片的距离，使得感光芯片上始终可以获得清洗的成像效果。对于手机摄像头模组而言，镜头位置不动，主要是靠马达来带动镜头移动实现。
在这里插入图片描述
自动对焦就是相机根据成相的远近，自动对焦。
AF需要摄像头的镜头支持才可以，也就是镜头支持自动变焦的装置才行。

5.3 自动白平衡（Auto White Balance） -AWB

“不管在任何光源下，都能将白色物体还原为白色”，对在特定光源下拍摄时出现的偏色现象，通过加强对应的补色来进行补偿。
手动白平衡是指摄影师把摄像机对准白纸拍摄，这时，白纸充当标准白色，摄像机需要通过内部自动调整，即估计出红、绿、蓝色偏色的比例并做相应的调整，使拍摄出的画面呈现纯白色。
自动白平衡就是ISP在采集图像帧后，采集关于白平衡的统计信息，进而通过ISP的AWB算法库的处理，使得到的图像和肉眼更为接近。AWB一般由ISP模块处理。自动白平衡(auto white balance,AWB),颜色校正(colorcorrection,CC),3维查找表(three dimension look up table,3dlut)等颜色调整模块一般都属于ISP的功能范畴。
自动白平衡算法能自动的计算WB gain (R G B通道的白平衡增益),并将其与RGB通道分别相乘后,使受环境光影响的白色还原成纯白色,保证在各个光线条件下,相机成像色彩跟物体真实的色彩保持一致。当场景存在白点时基于自动检测的白点计算WB gain,当场景不存在白点时通过单纯色方法得到WBgain。色适应模块,对白平衡校正的目标进行调节,使白平衡校正后的图像尽可能与人眼感知的外貌一致。色调调整模块,根据喜好调整整体色调。由硬件的统计和软件的策略构成自动白平衡。