【camera】ISP

【写在前面】
网上资料梳理，侵删烦请联系。或有表达错误，欢迎指出纠正。

1 DPC坏点校正

1.1 图像坏点

• 是什么
  Bad pixel。图像传感器上每一光线采集的点形成的阵列工艺存在缺陷，或光信号进行转化的过程中出现错误，会造成图像上有些像素的信息有误，导致图像中的像素值不准确，这些有缺陷的像素即为图像坏点。
• 坏点类型
  hot pixel：比周围亮很多的点；
  dead pixel：比周围暗很多的点；
  weak pixel：未提供一个正确的像素值，但没有比周围点特别亮或特别暗的像素。
• 坏点影响
  ①图像中存在坏点，在进行插值和滤波处理时，会影响周围的像素点，因此，需要在插值和滤波之前对坏点进行校正。
  ②在坏点或动态坏点较多时，会造成图像的边缘出现伪色彩，不但影响图像的清晰度，而且会影响边缘的色彩。
  ③坏点会造成图像部分pixel闪烁的现象。

1.1.1 静态坏点

• 亮点
  一般来说像素点的亮度值是正比于入射光的，而亮点的亮度值明显大于入射光乘以相应比例，并且随着曝光时间的增加，该点的亮度会显著增加；
• 暗点
  无论在什么入射光下，该点的值接近于0；

1.1.2 动态坏点

在一定像素范围内，该点表现正常，而超过这一范围，该点表现得比周围像素要亮。
与sensor 温度、增益有关，sensor 温度升高或者gain 值增大时，动态坏点会变的更加明显。

1.2 坏点校正

Defect Pixel Correction。即DPC

1.2.1 坏点校正方法

①基于bayer图像格式的DPC方法
将图像分为R、G、B三幅图像，分别进行坏点校正。
若sensor的图像格式为RGBIR，则需要将图像分为R、Gr、Gb、B四个通道。

动态坏点校正和静态坏点校正是两个相互独立的过程。

1.2.2 静态坏点校正

• 如何用
  基于已有的静态坏点表，比较当前点的坐标是否与静态坏点表中的某个坐标一致，若一致则判定为坏点，然后再计算校正结果对其进行校正。
• 特性
  ①实用性不强
  一般情况下，每个sensor的坏点都不一样，需要sensor厂商给出每个sensor的静态坏点表，但是出于成本的考虑，很多sensor厂商并没有给出，用户校正只能一个一个对其进行校正，因此对于一些低成本的sensor，静态坏点校正的实用性不是很强。
  ②坏点有大小限制
  由于在硬件设计时需要占用大量的memory，考虑到芯片面积以及一些其他原因，因此静态坏点有大小的限制，不可以无限制的校正。
  ③sensor的静态坏点表一旦写入存储，dpc模块会自动替换坏点表中所示坏点。

1.2.3 动态坏点校正

• 特性
  ①实时检测和校正sensor的亮点与暗点，且校正的坏点个数不受限制。
  ②分为两个步骤：坏点检测、坏点校正。
  坏点校正算法举例：使用梯度百分比的方式去检测坏点，检测到坏点之后通过中值滤波进行坏点校正，最终通过alpha混合的方式计算出最终的计算结果。

1.3 坏点与噪点

噪点：位置随机/颜色随机/亮度随机/受温度影响/受感光度影响明显/受曝光时间影响明显
坏点：位置固定/颜色（暗点和亮点固定，色点不固定）/亮度（暗点和亮点固定，色点不固定）/不受温度影响/受感光度影响（亮点和色点受轻微影响）/受曝光时间影响（亮点和色点受轻微影响）