【ISP】Sharpen（2）

1.什么是锐度

锐度（acutance）常用于描述边界处图像信息过渡的快慢。高反差图像过渡速度非常快，可以形成非常明确的边缘，而低反差图像存在一定的过渡缓冲，表现在成像上就是模糊的边缘。

由于人类视觉的特性是对高反差的刺激更加敏感，锐度越高会感觉画面越清楚，反之则感觉画面模糊不清，细节表现不足。

2.什么是锐化

锐化（sharpen）就是使用一定的算法对图像进行处理以检测图像中存在的边缘，然后对符合条件的边缘采取一定的滤波措施以达到提高边缘锐度的目的。

那么，一幅图像是不是锐度越高越好呢？当然不是。从信息的角度看，通过滤波算法提高图像的锐度并不会增加图像中所包含的信息，它只是对原有信息进行一些加工处理，使画面更符合人类视觉的响应特性，可以减轻人类大脑的负担。但是如果算法处理不当，则会将一些原本并不重要甚至并不存在的细节（包括图像噪声）也一起放大，这反而会违背人类的正常认知，会加重大脑的负担，起到反作用。

因此，锐化的主要目标应该是弥补成像过程中图像的锐度损失，从而恢复场景本应具有的自然锐度，同时需要注意避免过度锐化。下面将讨论造成图像锐度损失的一些原因。

3.光学系统的像差

在不考虑衍射的情况下，根据几何光学原理，平行光经过理想光学系统后应完全聚焦到一个理想的点上，该点即是光学系统的焦点，如下图所示。

显然现实世界中是不存在理想的点的。实际情况是，平行光经过理想薄透镜后会发生衍射，在理论焦点附近形成一个如下图（a）所示的焦斑。如果放大来看，焦斑其实是有类似水波纹一样的精细结构的，即下图（b）所示的衍射环图案。

（a）焦斑 （b）衍射环

对于一个理想的光学系统来说，焦斑的直径就决定了该光学系统分辨率上限，这个上限即称为该光学系统的衍射极限。

由于设计和工艺的局限，实际的光学系统都存在包括球差、色差在内的各种像差机制，导致平行光会聚得到的焦斑直径远大于衍射极限，实际上是在焦点附近形成一个弥散斑，如下图所示。

像差是制约光学系统成像质量的一个关键因素。弥散斑的存在导致光信号能量衰减、图像边界变模糊、颜色发生分离，使实际光学系统的分辨率低于理论极限值。

弥散斑的直径与镜头的通光孔径有关，通光孔径越大则弥散斑也越大，系统的实际分辨率就越低。

关于像差的更多内容可参考本专栏的主题文章

刘斯宁：Understanding the Seidel Aberrations44 赞同 · 1 评论文章

3.1光学系统的低通滤波效应

在评估光学系统分辨率指标时，经常使用下图所示的由黑白线对(Line-Pair)构成的光栅图案来测试光学系统的MTF值。

由于弥散斑的空间平滑作用，理想黑白线对经过光学系统后锋利的边缘会变得模糊，信号的峰峰值(Peak-to-Peak)变小，如下图所示。

这种现象称为光学系统的调制作用(Modulation)，相当于对输入信号进行了低通滤波。调制作用不仅与光学系统本身的设计参数有关，还与输入信号的空间频率有关，输入信号频率越高调制作用越明显。

3.2调制传递函数 MTF

调制度的相关介绍与应用可以参考YY/T1603-2018标准，或者国际标准ISO12233

在衡量一个光学系统的分辨率性能时，需要先确定一个对比度标准，例如MTF=0.5，然后将该MTF值对应的空间频率作为该光学系统的分辨率指标。

下图给出了不同对比度的视觉效果对比 。

从图中可以看到，人眼对反差为0.05的图像尚可不太费力地分辩，而当反差低于0.02时就不太容易分辨了。所以实践中常选择MTF=0.03对应的空间频率作为镜头的目视分辨率标准。

在使用软件工具对图像质量进行自动化评估时，常选用MTF50，MTF50P，MTF30，MTF20等参数作为衡量分辨率的标准，它们分别表示MTF值为0.5,0.5P,0.3,0.2时对应的输入信号空间频。

下图是一些典型单反相机的MTF曲线。

3.3频谱混叠效应(Aliasing effect)

在以CMOS sensor为基础构建的成像系统中,图像探测单元(像点,photosite)的物理尺寸和间距决定了成像系统的的空间采样频率，记为Fs。而被探测场景中目标物体的空间频率f常会高于探测单元重复频率的一半，即f > Fs/2。当用频率Fs对一个更高频率的信号f进行采样时，高频信号中Fs/2以上的频率信号并不会自动消失，而是对称地映射到Fs/2以下的频带中，和原有的Fs/2以下的频率成分叠加起来，表现出实际场景中并不存在的模式，这种模式称为伪影（artifact）。下图是一个频谱混叠效应导致摩尔纹伪影的典型场景，左图是正常图案，右图是采样频率不足时的图案。

当sensor型号选定后，成像系统的空间频率即已经确定，为了抑制频谱混叠效应，有些camera厂家会在sensor与镜头之间增加一个光学低通滤波器(optical low-pass filter, OLPF)对输入信号进行空间平滑处理，起到抗混叠的作用。下图是Canon 550D 单反camera的sensor 结构，包含了一个低通滤波镜片。

下图说明了频谱混叠和抗混叠的原理与效果。

4.Sharpen

由于光学系统中镜头和抗混叠滤波器的低通滤波作用，sensor捕捉到的图像纹理细节会有所损失，即因为对比度下降图像显得模糊。图像锐化是使图像中的纹理边缘更清晰的一种图像处理方法，常用的做法是提取图像的高频分量，根据需要乘以一定的系数（即strength)，然后将其叠加到原图上。

提取图像高频分量的常用方法是使用一个低通滤波器（Unsharpen Mask，USM) 处理原图得到图像的低频分量，然后用原图减低频分量就得到高频分量。

从最终效果上看，锐化的原理就是加强像素间的明暗反差以达到看起来更多“细节”的目的。

在下图例子中，左半部分RGB值为（100,100,100），右半部分为（50,50,50）。使用USM锐化后放大到1600%可以看出明暗交界处增大了反差，使明亮的地方更明亮，黑暗的部分更黑暗来达到锐化的目的。

4.1选择性锐化

一般图像中都会存在较强和和较弱的边缘，在下图的例子中，由黑白线条组成的图案对比度很强，而文字“ISO 12233”部分则对比度较弱。目前主流的ISP都支持对这两种纹理施加不同的锐化系数（strength)，可以使两种纹理都能收到最佳的锐化效果，相反如果整幅图像只用一个系数则难免顾此失彼。区分纹理强弱的主要依据是图像的方差。方差越大意味着纹理越强。

在海思的术语体系中，较大的方差被定义为“边缘(edge)"，较小的方差则定义为"纹理(texture)"，而"边缘"与"纹理"的边界被定义为"细节(detail)"。这个术语体系貌似起源于Apical，但实际上并不是十分精确，Apical（已于2018年被ARM收购）已经在最新的版本中采用“高频、中频、低频”的术语体系，比之前更加简洁准确。

5.锐化引发的问题 （artifacts）

5.1锐化过度

从图中可以看到，锐化过度带来的一个问题就是振铃效应，英语是ringing effect。振铃效应一般发生在信号的高频部分，如下图所示。反映在图像上就是黑白跳变的边缘处。

从频率的角度看，理想的方波可以看作为无穷多个正弦信号叠加而成。

振铃效应形成的原因是方波中的一部分高频信号的被低通滤波器截断，剩余的信号叠加起来就变成下图所示的样子。

5.2 蠕虫效应 （worm artifacts)

5.3 混叠效应（jaggies)

转自：https://zhuanlan.zhihu.com/p/98979968