相机内部“图像信号处理器（ISP）”等阶段的说明

本文来自对论文《Reconfiguring the Image Pipeline for Computer Vision》的附录关于ISP内容的整理。 

从数码单反相机到智能手机，现代的任何照相机都遵循这一套标准的pipeline，下图展示了这一套传统的pipeline。主要成分有图像传感器，其对光作出反应并产生出RAW格式的图像；图像信号处理器（ISP）单元，它把图像信号进行转换、增强、压缩等一系列操作，产生一个完整的图像，通常是JPEG格式；以及视觉应用自身。下面会详细讲每个部分。

一、相机传感器

第一步是把捕捉到的场景由光转换为电的形式，图像传感器CCD和CMOS使用的固态设备都能够利用光电效应把光转换为电压。大多数现代设备都使用CMOS传感器。现代手机的传感器的尺寸能达到1.1μm。

CMOS的光电二极管对可见光有一个较宽的光谱感知范围，但只能感知单色光的强度。因此为了捕捉到色彩信息，传感器加上了光电二极管大小的滤波器来允许特定波长的光通过。每个光电二极管因此被分配感知一种特定的颜色：一般来说是红色、绿色和蓝色。这些滤波器构成的布局叫做马赛克（mosaic）。最常见的马赛克是Bayer滤波，如下图所示，它是一个由一个红色像素、一个蓝色像素和两个绿色像素构成的2x2模式。之所以绿色数量是其余的两倍，是为了模拟人眼视觉系统，后者对绿色的波长更为敏感。