Understanding ISP Pipeline - Noise Reduction

背景
下图是使用单反相机在ISO6400条件下拍摄24MP分辨率图片的预览效果。

看起来似乎还不错，但是如果将图像放大到100%显示，则真实效果是这样的，

原生画面上实际充满了各种颜色杂乱的斑点和斑块，几何线条也不太清晰。这些破坏图像质量的东西就是噪声。

噪声（Noise）

噪声是图像中不请自来的信号。在数码照相机和摄影机产品中，总的规律是光圈越小、（电子）快门越短、ISO越高，图像噪声就越大。图像中的噪声有多种来源，下图列举了几种常见的噪声模式，即

固定模式噪声（FPN），由于图像传感器的空间不均匀性引起的，硅片本身的瑕疵，失效像素（坏点），像素参数的随机分布，均可构成固定模式噪声
随机噪声，由于电子的随机热运动、光信号的统计涨落等多种原因引起的噪声，在芯片中普遍存在的1/f噪声也是一种随机噪声

条带噪声（Banding），有水平条带和垂直条带两种表现形式，有固定模式和随机模式两种来源，其中固定模式来源包括传感器中各晶体管工作参数相对理论值的漂移；垂直条带往往是由于传感器中存在两个ADC器件，其参数不完全一致；随机模式往往由于电源纹波引起的，更多细节可参考本专栏的主题文章

下图是一个条带噪声的例子。

在一幅图像内部，暗部的噪声会比亮部的噪声更明显，如下图所示。

P.S. 这是由人眼的生理特性决定的。德国生理学家Ernest Heinrich Weber(1795-1878) 和他的学生Gustav Theodor Fechner于1834年提出，最小可分辨的刺激变化值与刺激值本身之比是一个常数，用公式表示为

这就是著名的韦伯-费希纳定律。

举例来说，如果50%的受试者能够分辨从100支蜡烛中移走1支蜡烛导致的亮度差别，那么对于200支蜡烛，需要移走2支才能被同样比例的受试者分辨出来。

噪声一方面会表现为像素亮度的随机波动，对于彩色图像还会造成像素颜色的随机波动，给图像引入并不存在的颜色，这对图像质量造成的破坏往往更加严重。

关于人类视觉系统（Human Vision System）的研究表明，人眼对亮度和色度的空间分辨能力是不同的，在低频段色度的分辨能力大于亮度，随着频率提高缓慢衰减，频率高于一定阈值后色度的空间分辨能力迅速衰减至零，而亮度空间分辨能力则是先增大再衰减。

噪声的空间频率高低会影响关于图像质量的主观感受，而且这种影响与人的直觉不一定相符。在下图的例子中，右图主要包含高频噪声，在人眼看来其图像质量比左图要好很多，其实右图的方差是12.5，大于左图的方差11.7，左图感觉噪声更大的主要原因是噪声的频率更低一些。

因此，关于噪声的一般规律是，幅度小的高频噪声对主观图像质量影响较小，而幅度大的低频噪声对主观图像质量影响较大。

噪声对图像质量造成的影响并不仅限于人眼观察时引起的主观不适，它对后续的图像使用环节也会带来很多负面的影响，比如会引起视频编码的码率上升、人脸识别准确率下降等问题。