ISP图像处理 - YUV域流程

在之前的文章中，介绍了ISP 在RAW域和RGB域的处理方法。

完美成像中最重要的环节 - ISP之RAW域处理

完美成像中最重要的环节 - ISP之RGB域处理

终于走到ISP处理的最后部分 - YUV域！

今天延续之前的内容，讲解最后的部分 -- YUV域的处理。

更多技术文章，全网首发公众号 “极客之昂” 锁定 -上午11点 - ，感谢大家关注、转发、点赞！

---

ISP的流程具体如图所示，我们继续围绕这个图来把YUV域中每个部分的处理给大家讲解一下。

经过CSC色彩空间转换后将RGB格式转为YUV格式，在YUV域中再进行降噪、锐化，增强等一些算法。

在这个部分，每个厂家就各显神通，处理方法、处理模块、处理流程也不尽相同，我们就挑选一些常见的YUV域处理模块给大家介绍。

NR Luma(Noise Reduction for Luma) 亮度降噪 

在YUV域中分别对亮度（Luma）和彩度（Chroma）进行降噪，因为转换到YUV域中，Y分量就是亮度，Y域下出现的Luma Noise，UV分量表示的色彩，UV域下就是Chroma Noise。

讨论亮度噪点时，指的是灰度图像，不考虑色彩因素。

根据网上的亮度噪点图分析，在同一光源下照射不同灰度的纸板，放大观察发现不同灰度下的噪点也不尽相同。

照射到物体的表面越亮，光信号越强，信噪比越高，噪点越少。

NR Chroma(Noise Reduction for Chroma) 色彩降噪 

彩噪（Chroma Noise）是YUV域中UV分量的噪声，特指像素之间的色彩波动，Chroma部分的噪声。

当环境亮度不足的时候，U、V分量的绝对值很小，UV分量的噪声就非常明显，在图像上就是彩色的噪斑，对画质的破坏力要比亮度噪点Luma Noise更明显。

可以看网上的一张明显的彩噪图片。

对于噪声的处理，通常在空域(Spatial Domain)、频域(Frequency Domain)上进行，或者根据图像的相似特性，在一个滤波窗口进行计算。

在此不做过多的介绍，各个厂家有各自的算法，我们大体了解即可。

Edge Enhance 边缘增强 

由于之前的域中会多次进行降噪处理，而降噪不可避免的会将图像中一些细节也捎带着消除了，导致图像模糊。为了将图像细节还原，减少图像损失，需要对其进行增强，但是不能再次引入噪声，就出现了Edge Enhance 边缘增强这类处理模块。

边缘增强和我们日常说的锐化sharp是比较相似的。但是二者也有区别：锐化针对图像所有内容增加锐利度，边缘增强只是针对边缘，避免噪声也会锐化放大。

如何区分边缘呢？

图像的边缘往往会出现灰度值不连续的现象，因此边缘像素中包含更丰富的图像信息。

对于边缘识别现在有很多成熟的算法，例如，Sobel算子、Canny边缘检测等。

由此可以看出边缘增强只能在YUV域进行，因为只对Y分量进行处理。

整个Edge Enhance边缘增强流程是：先获取图像边缘，对图像平坦部分不做增强，在边缘部分做滤波和增强处理。

Hue & Saturation 色调饱和度控制 

饱和度Saturation就是说色彩的鲜艳程度。在YUV域中，U、V分量分别代表蓝和红分量。

当U=V=128的时候，表示饱和度为0；

当|U-128|和|V-128|的值越大，饱和度也越大。

f(x,s) = (x - 128) * s + 128其中：x 表示 U、V分量; s 表示饱和度幅度

当U、V分量的差值与系数s相乘，就可以调整饱和度幅度。s=0表示灰度，s=1表示原图不调整，0~1之间表示降低饱和度，大于1表示增加饱和度。

调整饱和度有点类似CCM（完美成像中最重要的环节 - ISP之RGB域处理 中CCM介绍），也是可以调整颜色，但是CCM是为了还原人眼的色彩，这个校正矩阵的参数还是不要随意改动。

在YUV域中，上述调整饱和度的方式更容易，也不会出现过度的偏色。很多手机厂家的图像效果很鲜艳，就是先判断拍照的类型是什么，根据类型选择饱和度，最终拍照得到一个色彩鲜艳的图片。

Hue的意思是色调、色相，表示颜色的相位角。简单理解就是，在一个标准圆中，红色是0°，绿色是120°、蓝色是240°，不同度数表示不同的颜色。

Hue在ISP中的含义是色彩转换的功能，当颜色转动120°，就是原本的红色变成绿色，绿色变为蓝色，蓝色变为红色，可以用到特效上，以及一些特殊的效果。

Contrast & Brightness 对比度亮度控制 

Brightness亮度控制是一般摄像头都会有的功能，顾名思义，就是控制亮度来改变图片效果。

在YUV域中，Y分量就表示亮度。如果直接调节Y分量，就会让图片发白或者发黑，这不是我们理想的亮度控制。通常的做法是将Y、U、V三个分量同时进行亮度调节，这样既保证了亮度，也会保证图像的鲜艳度。

对比度调节Contrast也叫做对比度增强Contrast Enhancement，就是增强图片的对比度。

目前对比度增强主要的算法是直方图均衡化（Histogram），根据原始图像的亮度数据进行重新分布，使图片的亮度分布更加均匀。

---

历经四个文章，终于把相机的成像原理全部介绍完毕，希望大家通过这个文章有所收获，感谢大家的关注和支持！

完结撒花 ！！

更多技术文章，全网首发公众号 “极客之昂” 锁定 -上午11点 - ，感谢大家关注、转发、点赞！