Camera基础概念学习总结

1. CMOS sensor在外观上分为三层

1、 Microl0ens层：将入射光线聚集到感光区
2、 Color Filter：覆盖了一个RGB的滤光片在感光区上，作用是将入射的光线过滤成R、G、B三原色
3、 感光层：接受光线照射，将光信号转换成电流信号，放大输出

2. Camera系统的组成
   

3. Camera模组图例

名词解释：

• Substrate：基层传感器，光电转换器，将光源转成电子信号，并将信号发送给ISP处理。

• IR cut滤光片：分为红外截至或吸收滤光片（白天摄像头可以接收人眼无法识别的红外线，所以要红外滤光片还原色彩）、全透光谱滤光片（晚上是全透滤光片，增加光量，提高夜视效果）
  Image Sensor：图像传感器（CCD、CMOS）

• 被动元件：不影响信号基本特微，而仅令讯号通过而未加以更动的电路元件，常见的有：电阻、电容、电感、变压器

• DSP：数字信号处理器，传感器一般为马赛克结构，阵列输出的信号，在每个像素上是单色的，DSP主要工作就是把REW

• RGB格式转换成RGB格式或YUV格式

• FPC：软板，连接芯片和手机，起到电信号传输作用。

• 基本概念

ISP基本框架

• 图解说明：lens将光信号投射到sensor的感光区域后，sensor经过光电转换，将Bayer格式的原始图片传送给ISP，ISP经过算法处理，输出RGB空间域的图像给后端的视频采集单元，在这个过程中，ISP通过运行在其上的FIRMWARE对ISP和sensor进行相应的控制，进而完成自动光圈、自动曝光、自动平衡等功能。

ISP名词解释与说明
黑电平

• 原因：
  由于Sensor漏电流存在，刚把镜头放入一个全黑的环境，Sensor输出的原始数据不为0；而我们希望全黑时原始数据为0.
• 校正：
  我们需要找到一个矫正值，所有像素值都减去这个值，就得到一个矫正成功的结果。一般情况下，sensor的传感器周边，还有一小部分区域是有感光器的，但是没有光透射进来。可以把这部分的传感器的信号作为矫正值，从可感光部分的信号中减去，就可获得校正后信号。

坏点校正

• 由于Sensor是物理器件，有坏点是难以避免的；而且使用时间长了坏点会越来越多。通过在全黑环境下观察输出的彩点和亮点，或在白色物体下观察输出的彩点和黑点，就可以看到无规律的散落在各处的坏点。
• 图像坏点—>图片上散乱的无规律的白色亮点

Shadding

• 镜头四周亮度校准到与中心的百分之80-90
• 表现为：中心较亮，四周较暗

Gamma

• 把线性亮度的输出映射成人眼视觉对亮度相应的曲线

线性化

• 细线为真实的r,b,g的曲线，而箭头为线性的曲线，可看出sensor在不同曝光下R,B,G的增加幅度并不大。
• 这样的结果就是造成局部偏色，如下：

• 通过对sensor输出的真实曲线进行线性化拟合，分区域进行线性化拟合，使用lut进行查表输出。 噪声去除

• 图像噪声直观表现为图片不清晰，噪声在图像上常表现为一引起较强视觉效果的孤立像素点或像素块 如下图所示：噪声

原图

LSC(Lens Shade Correction)------镜头阴影校正

• 成像较远时，视角增大，因为摄像头是一个圆形的凸透镜，造成接收光线的时候，斜光束慢慢减少，就会使得图片中间部分比较亮，四周比较暗

GB（Green Balance）------绿平衡

• Seneor芯片的Gr、Gb获取到能量或者输出的数据不一致导致的，原因之一是因为制造Gr、Gb通道的半导体工艺不同。另外是因为Microlens存在，sensor边缘区域，Gr、Gb由于角度差异，造成的接收光能不同，两者差异较大，就会造成以下现象

Demosaic------颜色插值

• 因为像素只能感受到光的亮度，但是感受不到光的颜色，这个时候需要一个滤光层，将光的三原色分别接收，这样的话，每个像素点只能感应到一种颜色，颜色插值利用该像素点周围像素的平均值来计算该点的插补值

AWB（Automatic White Balance）------自动白平衡

• 人眼可以自动调节，看物体不受光线的影响，但是图像传感器并不具备这个特点，在不同的光线下拍摄到的物体颜色会受到影响，自动白平衡就是模拟人眼来消除光线对图片带来的影响

CCM（Color Correction Matrix）------颜色校正

• 颜色校正是为了校正各个颜色块之间颜色相互渗透带来的颜色差，颜色校正就是利用拍摄到的图片和原相片进行对比，得出一个像素矩阵。在以后图像传感器中，都可以利用这个像素矩阵来达到标准图像与拍摄图像尽量一致，色彩更加接近

RGBToYUV

• YUV一种颜色编码格式，Y是亮度，UV是色度。
  人眼对亮度的敏感性比色度要高，所以亮度Y比UV的分量要重一些，YUV的色彩编码格式比原始图片RGB图像所需内存小很多，将亮度与色度分别存储，对视频编码有一定的好处

WDR（Wide Dynamic Range）------宽动态

• 动态范围是指图像中最亮与最暗的灰度比值，而宽动态主要用来解决图像中暗区域曝光不够，然后亮区域过度曝光的现象。也就是说宽动态解决了暗区域和亮区域最终在图像中正常程度

3DNR

• 根据运动水平的大小对图像像素进行空域滤波和时域滤波的加权，之后输出滤波之后的图像

Sharp------锐化

• ISP在处理的过程中，在处理图像噪声的时候，消除了一些细节，而锐化就是增强图片的细节