camera杂项---tuning原理

部分截图来源于网上
一.BLC
个人简洁理解：
为什么要纠正黑电平？因为黑电平不为0。为什么不为0？因为芯片厂家加了一固定的偏移量。为什么要加偏移量？：
1.因为adc的特性，很难精准转换电压值很小的一部分人为放大信号可以保留暗部细节，当然亮部细节稍有损失。
2.全黑状态电平不稳定，容易受到暗电流温度等影响，放大可以保持信号稳定。
Isp所做的事：实际是找这个black level，加以扣除。一般tuning第一步就是做bl纠正，如果扣除不准容易造成整体偏色。Isp实际是可以针对r，gr，gb，b减去不同的值。
二.AWB
为什么要做白平衡，因为在不同色温下，白色在sensor采集到是颜色是有差异的。低色温会出现暖黄色，如太阳，床头灯，高色温，阴冷天气会偏蓝。
Isp所做的事：拍摄不同色温下的多张白色图片，对RGB通道进行校正，这样可以还原白色。那么可以把不同色温的纠正值，做成点图，连成线。实际是三维(RB,BG,色温)。这样就能校正。
那isp需要检测当前色温。如何统计当前色温?
1.isp可以对色温可以分区块处理，比如7x7，9x9，25x25，当然每家isp可能不同，统计每块白色点数（主要值在某一个范围，就认为是白色），如果点数太多或者太少，则抛弃，太少基本没什么用，太多可能存在过暴。然后可以统计该块的RG,BG平均值
2.对照之前画的3维曲线，找到色温值。Isp可以做相应的处理。
所以在isp内部会有判断白点条件，和多种不同色温光源如A、CWF、TL84、
D65等处理值。
三.LSC
为什么要阴影矫正？因为镜头由于光学特性，对光折射不均匀导致镜头周围出现阴影的情况。实际情况就是透镜原理，中间会比周边通多。
isp做的事：拍摄不同光源，分块，比如16x16分区，产生17x17个网格点，对r gr gb b 四通道进行补偿。当然也是针对不同光源拍摄，做对应光源的的补偿。RK做了70%和100%补偿,70%是在亮度低，补偿多会导致噪声明显。
四.CC
这里就不问什么要色彩校正了，颜色不对肯定要纠正。但为什么会产生色彩不对呢。
1.在RK调试摄像头效果，都会要以个sensor的光谱曲线。关于光谱曲线，其实可能其他行业也有，我说下我对摄像头的光谱曲线了解，就是对不同波长的光源，rgb三色识别的敏感程度。也就是读取各种颜色的百分比。把人眼当做摄像头，人眼也有光谱曲线，人眼能看到的波长为400-700纳米，实际可能稍微有偏差，低于或超过这个范围人眼就看不见了。但是摄像头

随便截取一段，大于700算是红外，人眼看不到，摄像头却能读到。人眼各种颜色感光度也和sensor有差异，所以cc就是纠正这部分。
3.awb之后，把白色校正了，相应其他色彩也跟着变化。
Isp所做的事：拍摄标准图片的图像与标准图片比较得到一个校正矩阵。

C00表示r分量对R的影响，C01和C02分别表示g和b分量对R的影响，同理另外两组参数，假设CMOS的模型完全吻合人眼模型，那么显然C00=1,C01=C02=0，实际上CMOS image sensor中的滤镜不能完全过滤掉那些不希望看到的光波。

RK做了74%饱和度和100%饱和度的参数。

五. AEC
自动曝光，简单讲根据当前场景（实际是亮度）设置曝光时间和曝光增益。
获取亮度可以 为平均亮度，分区加权平均亮度（可以对中央，或者人脸加重权重）等
Rk分区权重9x9
算法参数当然包含比较多，权重矩阵，gian和曝光时间转换，ae调节速度，夜晚模式判别。当然一般是先加长曝光时间，后增加gain值，因为gain值增加会带来噪声。曝光时间跟帧率有关，比如帧率为30，那么曝光时间少于1/30，不会影响帧率。所以曝光涉及到两者的分解。
曝光分解过程中，对 flicker 进行调节方式是：
曝光时间大于 flicker 时间的，必须为 flicker 整数倍。
曝光时间小于 flicker 时间的，不为 flicker 整数倍
自动曝光参数很多，可以以后一一看明白
六.gamma矫正
要说gamma矫正就要先介绍感光宽容度：正确容纳的景物亮度反差的范围。人眼的感光宽容度比摄像头高出很多。举个简单的例子好理解，假设景物最亮是最暗部分的50倍，那么他们之间的比例是1：50.假如摄像头宽容度是1：40，那么如果曝光位置在中间亮度，那么最亮和最暗有5个点的比例看不清楚，表现为黑和白。
人眼对亮度的相应并不是线性比例关系，虽然sensor一般也是非线性，但是更接近线性关系，为了符合人眼表现，就需要矫正，这就是为什么要矫正，

当然现在还有一种HDR矫正，是对物体拍照不同曝光下的几张照片，通过软件算法合成一张，这样可以看到的宽度就更广。

七.AF
我知道的af分为3种
1.CDAF 反差式对焦，原理是移动马达找到对比度最高的的点。这个完全
是靠isp去算，速度很慢，要反复移动后才得到一个局部最大值。而且无图对比度比较低容易对焦失败

对焦类似这种曲线，当达到最大值的时候还要继续移
动，因为当时不知道是最大值。
对焦的策略有 全局遍历搜索，爬山算法搜索，自适应搜索。
全局和自适应搜索可以设置远焦向近焦搜索或者近焦向远焦搜索。自适应会根据当前position自适应最优搜索方向。
爬山算法是从当前的节点开始，和周围的邻居节点的值进行比较。 如果当前节点是最大的，那么返回当前节点，作为最大值(既山峰最高点)；反之就用最高的邻居节点来，替换当前节点，从而实现向山峰的高处攀爬的目的。如此循环直到达到最高点。
这样可以避免遍历，但可能结果不是最佳，就是上图如果中间有波动，那如果在波动附近，只能对焦到这部分波动。如果到达高点就会不知道最佳方向，会随机走动。
2. Pdaf

AF模块中有两个或者多个小图像传感器(CCD1/2)，并且都是一维的，也就是说是由一列像素构成，每个传感器上有一个小的透镜(Micro lens)，这些传感器是成对出现，每一对就构成了一个自动对焦点，在失焦状态下，红光照射在光圈右侧，绿光照射在光圈左侧，在传感器上的相位就无法匹配，当移动镜头Main lens的时候，光线的相位会慢慢靠近直至重合，当重合时就认为对焦成功。在图像处理中识别相位重合的方式有很多种，由于根据相差可以精确计算出main lens需要移动的方向以及距离，因此PDAF就比CDAF速度要快许多。

但是限于手机空间有限，小透镜用原本sensor的部分G替换成PD像素，这样变成了pdaf。但是被替代的像素点要根据周围环境来补偿。这个跟isp处理有关。
这样的对焦有点是速度快，缺点是，需要专门支持pdaf的sensor，在暗处效果比较差。
3.Laser assit af
激光辅助对焦，发出一组宫外光，根据接收到的时间来计算距离，有点tof摄像头的原理。
有点是可以辅助pdaf在弱光下，cdaf对比对比较低的情况下的不足。
缺点是本身有红外线的物体会失效，如烛光，并且无法穿透玻璃，对焦也失效
八.CAC
由于不同颜色的光在通过镜头时以不同的速度传播，镜头对于所有波长的光不能聚集于一点而引起的“紫边”现象.

Rk ISp内部包含cac模块，通过偏移raw像素位
九 . DPF
denoise pre-filter，作用是在 demosaic 前对 raw 进行一次去噪.
AG增大以及曝光时间过长（温度升高，电流噪声增多），也会相应的增加噪点数目。
Isp会判断某点对比周边亮度或者颜色差异很大，就认为是噪点，处理方式是对周边取平均值。但是这样如果去噪点过多，会导致图像模糊，所以一般会把判断噪点的阈值加大。

十．DPCC
坏点簇矫正，处理方式可能跟噪点类似