Camera sensor 基本原理_摄像机感光芯片怎么实现刷新

收集整理了一份《2024年最新物联网嵌入式全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升的朋友。

如果你需要这些资料，可以戳这里获取

需要这些体系化资料的朋友，可以加我V获取：vip1024c （备注嵌入式）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人

都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

电荷藕合器件图像传感器CCD（ChargeCoupledDevice），它使用一种高感光度的半导体材料制成，能把光线转变成电荷，通过模数转换器芯片转换成数字信号。CCD由许多感光单位组成，通常以百万像素为单位。当CCD表面受到光线照射时，每个感光单位会将电荷反映在组件上，所有的感光单位所产生的信号加在一起，就构成了一幅完整的画面。CCD传感器模块以日本厂商为主导，全球规模市场有90%以上被日本厂商垄断，以索尼、松下、夏普为龙头。

**互补性氧化金属半导体CMOS（ComplementaryMetal-OxideSemiconductor）**主要是利用硅和锗这两种元素所做成的半导体，使其在CMOS上共存着带N（带–电）和P（带+电）级的半导体，这两个互补效应所产生的电流即可被处理芯片纪录和解读成影像。CMOS传感器主要美国、台湾和韩国为主导，主要生产厂家有美国OmniVision、Agilent、Micron,台湾的锐像、原相、泰视等，韩国的三星、现代。

**图像处理芯片（DSP）**是CCM的重要组成部分，它的作用是将感光芯片获得的数据及时快速地传递中央处理器并刷新感光芯片，因此DSP芯片的好坏，直接影响画面品质（比如色彩饱和度，清晰度等）。

FPC柔性电路板(柔性PCB): 简称"软板",又称"柔性线路板",连接芯片和手机。起到电信号传输作用。

1.3 YUV 与 YCbCr ．

YUV 和 RGB 一样，是色彩空间中常用的色彩模型之一，两者可以相互转换。

YUV 中 得 Y 表示亮度，U 和 V 表示色度。与 RGB 相比，它的优点在于占用更少的空间。

YCbCr 则是在世界数字视频标准组织研制过程中作为 ITU - R BT601 建议的一部分, 其实是 YUV 经过缩放和偏移的翻版。 其中 Y 与 YUV 中的 Y 含义一致, Cb , Cr 同样都指色彩, 只是在表示方法上不同而已。

在 YUV 家族中, YCbCr 是在计算机系统中应用最多的成 员, 其应用领域很泛,JPEG、 MPEG 均采用此格式。

一般人们所讲的 YUV 大多是指 YCbCr。 YCbCr 有许多取样格式, 如 4∶4∶4 ,  4∶2∶2 ,  4∶1∶1 和 4∶2∶0。

1.4 Sensor图像处理原理

camera sensor效果的调整，涉及到众多的参数，如果对基本的光学原理及sensor 软/硬件对图像处理的原理能有深入的理解和把握的话，对我们的工作将会起到事半功倍的效果。否则，缺乏了理论的指导，只能是凭感觉和经验去碰，往往无法准确的把握问题的关键。

所以，这里通过分析一些与Sensor图像处理相关的因素，和大家分享一下自己的一些理解，共同探讨，共同学习进步。

2 色彩感应及校正

2.1 原理

人眼对色彩的识别，是基于人眼对光线存在三种不同的感应单元，不同的感应单元对不同波段的光有不同的响应曲线的原理，通过大脑的合成得到色彩的感知。 一般来说，我们可以通俗的用RGB三基色的概念来理解颜色的分解和合成。

理论上，如果人眼和sensor对光谱的色光的响应，在光谱上的体现如下的话，基本上对三色光的响应，相互之间不会发生影响，没有所谓的交叉效应。

但是，实际情况并没有如此理想，下图表示了人眼的三色感应系统对光谱的响应情况。可见RGB的响应并不是完全独立的。

下图则表示了某Kodak相机光谱的响应。可见其与人眼的响应曲线有较大的区别。

2.2 对sensor的色彩感应的校正

既然我们已经看到sensor对光谱的响应，在RGB各分量上与人眼对光谱的响应通常是有偏差的，当然就需要对其进行校正。不光是在交叉效应上，同样对色彩各分量的响应强度也需要校正。通常的做法是通过一个色彩校正矩阵对颜色进行一次校正。

该色彩校正的运算通常是由sensor模块集成或后端的ISP完成，软件通过修改相关寄存器得到正确的校正结果。值得注意的一点是，由于RGB -> YUV的转换也是通过一个3*3的变换矩阵来实现的，所以有时候这两个矩阵在ISP处理的过程中会合并在一起，通过一次矩阵运算操作完成色彩的校正和颜色空间的转换。

3 颜色空间

3.1 分类

实际上颜色的描述是非常复杂的，比如RGB三基色加光系统就不能涵盖所有可能的颜色，出于各种色彩表达，以及色彩变换和软硬件应用的需求，存在各种各样的颜色模型及色彩空间的表达方式。这些颜色模型，根据不同的划分标准，可以按不同的原则划分为不同的类别。

匹配任意可见光所需的三原色光比例曲线

对于sensor来说，我们经常接触到的色彩空间的概念，主要是RGB , YUV这两种（实际上，这两种体系包含了许多种不同的颜色表达方式和模型，如sRGB, Adobe RGB, YUV422, YUV420 …）, RGB如前所述就是按三基色加光系统的原理来描述颜色，而YUV则是按照 亮度，色差的原理来描述颜色。

3.1.1 RGB <-> YUV的转换

不比其它颜色空间的转换有一个标准的转换公式，因为YUV在很大程度上是与硬件相关的，所以RGB与YUV的转换公式通常会多个版本，略有不同。

常见的公式如下：
Y=0.30R+0.59G+0.11B
U=0.493(B－Y) = －0.15R－0.29G+0.44B
V=0.877(R－Y) = 0.62R－0.52G－0.10B

但是这样获得的YUV值存在着负值以及取值范围上下限之差不为255等等问题，不利于计算机处理，所以根据不同的理解和需求，通常在软件处理中会用到各种不同的变形的公式，比如实际上我们可能采用YCrCb模型，这里就不列举了。
        体现在Sensor上，我们也会发现有些Sensor可以设置YUV的输出取值范围。原因就在于此。
        从公式中，我们关键要理解的一点是，UV 信号实际上就是蓝色差信号和红色差信号，进而言之，实际上一定程度上间接的代表了蓝色和红色的强度，理解这一点对于我们理解各种颜色变换处理的过程会有很大的帮助。

4 白平衡

4.1 色温

色温的定义：将黑体从绝对零度开始加温，温度每升高一度称为1开氏度(用字母K来表示)，当温度升高到一定程度时候，黑体便辐射出可见光，其光谱成份以及给人的感觉也会着温度的不断升高发生相应的变化。于是，就把黑体辐射一定色光的温度定为发射相同色光光源的色温。

常见光源色温：
        光源                                              色温（K）
        钨丝灯（白炽灯）                    2500-3200k
        碳棒灯                                          4000-5500k
        荧光灯（日光灯，节能灯）   4500-6500k
        氙灯                                               5600 k
        炭精灯                                          5500～6500k
        日光平均                                      5400k
        有云天气下的日光                     6500-7000k
        阴天日光                                      12000-18000k

随着色温的升高，光源的颜色由暖色向冷色过渡，光源中的能量分布也由红光端向蓝光端偏移。

值得注意的是，实际光源的光谱分布各不相同，而色温只是代表了能量的偏重程度，并不反映具体的光谱分布，所以即使相同色温的光源，也可能引起不同的色彩反应。

人眼及大脑对色温有一定的生理和心理的自适应性，所以看到的颜色受色温偏移的影响较小，而camera的sersor没有这种能力，所以拍出来的照片不经过白平衡处理的话，和人眼看到的颜色会有较大的偏差（虽然在这种情况下人眼看到色彩的和白光下真实的色彩也有偏差）。

太阳光色温随天气和时间变化的原因，与不同频率光的折射率有关：

波长长的光线，折射率小，透射能力强，波长短的光线，折射率大，容易被散射，折射率低，这也就是为什么交通灯用红色，防雾灯通常是黄色，天空为什么是蓝色的等等现象的原因。

知道了这一点，太阳光色温变化的规律和原因也就可以理解和分析了，留给大家自己思考。

4.2 色温变化时的色彩校正

所以从理论上可以看出，随着色温的升高，要对色温进行较正，否则，物体在这样的光线条件下所表现出来的颜色就会偏离其正常的颜色，因此需要降低sensor对红色的增益，增加sersor对蓝光的增益。同时在调整参数时一定程度上要考虑到整体亮度的要保持大致的不变，即以YUV来衡量时，Y值要基本保持不变，理论上认为可以参考RGB->YUV变换公式中，RGB三分量对Y值的贡献，从而确定RGAIN和BGAIN的变化的比例关系。但实际情况比这还要复杂一些，要考虑到不同sensor对R,B的感光的交叉影响和非线性，所以最佳值可能和理论值会有一些偏差。

4.3 自动白平衡原理

4.3.1 原理

自动白平衡是基于假设场景的色彩的平均值落在一个特定的范围内，如果测量得到结果偏离该范围，则调整对应参数，校正直到其均值落入指定范围。该处理过程可能基于YUV空间，也可能基于RGB空间来进行。对于Sensor来说，通常的处理方式是通过校正R/B增益，使得UV值落在一个指定的范围内。从而实现自动白平衡。

4.3.2 特殊情况的处理

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上物联网嵌入式知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、电子书籍、讲解视频，并且后续会持续更新

需要这些体系化资料的朋友，可以加我V获取：vip1024c （备注嵌入式）

如果你需要这些资料，可以戳这里获取

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、电子书籍、讲解视频，并且后续会持续更新

需要这些体系化资料的朋友，可以加我V获取：vip1024c （备注嵌入式）

如果你需要这些资料，可以戳这里获取