Image Signal Processor（ISP）技术总结

• 代码风格

 Google 开源项目风格指南

• ISP driver总结

       linux驱动之ioctl

• ＣＭＯＳ传感器分类［１］．

ＣＭＯＳ图像传感器是高倾频高分辨率ＣＭＯＳ相机系统的核也组成部分，是整个系统的＂眼睛＂。ＣＭＯＳ图像传感器将外界可见光信号通过感光二极管转换成电荷信号，再通过内部量化等处理转换成电压信号或者电流信号，使其能被后续电路系统组件识别。

ＣＭＯＳ无源像素图像传感器由一个反向偏置的光电二极管、ＭＯＳ场效应复位管和ＣＭＯＳ场效应开关管组成。ＣＭＯＳ无源像素图像传感器像元结构具有尺寸小、结构简单、量子效率髙、可二维选址等优点，但由于列线的分布参数随着探测器的规模而増大，列线间也存在着比较大的分布电容，使得ＣＭＯＳ无源像素传感器的读出噪声増大、灵敏度降低，不适合向大规模像素阵列发展．

ＣＭＯＳ有源像素图像传感器由一个反向偏置的光电二极管、ＣＭＯＳ场效应复位管、ＣＭＯＳ场效应开关管和一个源极跟随放大器组成
。ＣＭＯＳ有源像素图像传感器的这种结构，输出信号经源极跟随放大器缓存无需多次转移传出，减少了电荷转移损失，提高了读出速度，増强了像素单元的驱动能力，同时列线上的分布参数影响减小，芯片功耗降低，噪声减小，适合大规模像元阵列的制作．

ＣＭＯＳ数字像素图像传感器由一个反向偏置的光电二极管、放大器、数字模拟转换器ＡＤＣ和存储单元组成．

ＣＭＯＳ无源像素图像传感器和ＣＭＯＳ有源像素图像传感器最后输出的是模拟信号，而ＣＭＯＳ数字像素图像传感器将数字模拟转换器ＡＤＣ集成在像素内部，直接输出数字信号，消除了模拟信号读出时引入的噪声干扰，此种结构形式提高了读取速度、减小了噪声、降低了苍片功耗，更适合采集高速图像。
 

• ISP 定义

Image Signal Processor是图像信号处理器，用于处理图像信号传感器输出的图像信号。它在成像系统中占有核心主导的地位，是构成成像系统的重要部分。

• ISP结构体系

ISP IP如果能自带CPU，对集成和资源都是极为有利的。随着完全开源和低成本的RISC-V CPU越来越成熟，我相信 RISC-V CPU + ISP的组合一定会越来越多， ISP也会越来越走向一个完备的小系统形式的IP。使用这个CPU运行ISP需要的Firmware, 同时控制I2C/SPI来控制sensor（主动确认其准确性，是否如期所说）

也可以使用FPGA来控制image　sensor，和处理sensor通过ADC转化之后的数据。

• ISP Firmware结构

典型的ISP 的Firmware 包含三部分：

1. ISP 控制单元和基础算法库；
2. AE/AWB/AF 算法库
3. sensor 库

Firmware 设计的基本思想是单独提供3A 算法库，由ISP 控制单元调度基础算法库和3A 算法库，同时sensor 库分别向ISP 基础算法库和3A 算法库注册函数回调，以实现差异化的sensor 适配。不同的sensor 都以回调函数的形式，向ISP 算法库注册控制函数（我自己想象的代码流程为：sensor库向ISP库申明有可以获取参数的回调函数，ISP库中直接调用回调函数获取参数，不同的sensor提供相同的回调函数，以此获取不同sensor的参数）。ISP 控制单元调度基础算法库和3A 算法库时，将通过这些回调函数获取初始化参数，并控制sensor，如调节曝光时间、模拟增益、数字增益，控制lens 步进聚焦或旋转光圈等。

 

• 参考链接：

对颜色空间YUV、RGB的理解‘

回调函数解释

下面这个博客有很完整的介绍

ISP从算法到硬件设计——ISP简介

• 参考文献：

［１］陶远荣，高帧频高分辨率CMOS相机系统