ISP与相机成像学习

零：相机成像原理：

        数码相机图像拍摄的过程实际上是一个光学成像的过程。相机的成像过程涉及到四个坐标系： 世界坐标系、 相机坐标系、 图像坐标系、 像素坐标系以及这四个坐标系的转换。

1.相机成像原理：

        其中 u 为物距， f 为焦距， v 为相距

        相机的镜头是一组透镜， 当平行于主光轴的光线穿过透镜时， 会聚到一点上， 这个 点叫做焦点， 焦点到透镜中心的距离叫做焦距 f。 数字相机的镜头相当于一个凸透镜， 感光元件就处在这个凸透镜的焦点附近， 将焦距近似为凸透镜中心到感光元件的距离时就成为小孔成像模型。

一. 图像信号处理：

1. Raw域处理：

从传感器获取信息的一步；

1. 坏点校正：

        分类

        · 静态坏点（恒定）        动态坏点（受曝光温度影响）

        步骤

        1. 坏点检测：

        静态（拍一张纯色的图片）

        动态（与邻域像素对比定位）计算中心像素和相邻 8 个像素之间的差异。事先定义一个阈值来判断是否是坏点。

        2. 插值替换坏点：

        均值滤波器；基于梯度的滤波器；

    

2. 黑电平矫正：

        黑电平本身的定义是黑色的最低值，也就是说sensor感光为零的时候输出的值就是黑电平。

        形成原因：转到数字信号时由于转换精度无法区分小电压；电流噪声干扰；

        补偿方法：用像素区前几行不感光的区域均值作为补偿；

3. 镜头阴影矫正：

        在透镜的边缘，光线与透镜的光轴有很大的角度。光的强度随着光轴距离的增加而降低。同时，不同颜色的折射率也不同。因此，镜头阴影会导致两种阴影，即亮度阴影和颜色阴影。

亮度阴影导致图像强度不均匀。与图像中心相比，图像的角落较暗。

色彩阴影会导致图像的颜色失真。这通常反映了图像中心和角落的颜色不一致。

        解决方法：存储增益法、多项式拟合法

        

4. 自动白平衡：

由于人眼具有色彩恒常性，就是说人眼感知物体的颜色不会因为色温产生变化。

但是sensor并没有人眼这么强大，sensor在不同色温下白色会呈现出不同的颜色，例如晴朗的天空(高色温)下会偏蓝，烛光(低色温)下会偏红。

        解决方法：

        保证任何色温场景下都是白色，引入了AWB这个模块

        灰度世界法：在任何一个图像中，只要色彩足够变化，它的RGB三个分量的值会趋于相等，也就是灰色。因此，它会根据每个颜色通道的平均值来得到一个增益值，对每个像素都使用这个增益值进行校正。

        完美反射法：利用图片中最亮的点，也就是RGB值最大的点，计算得到增益值，再对每个像素都使用这个增益值进行校正。