计算机视觉入门之图像处理＜六＞：图像锐化处理

往期文章回顾：
计算机视觉入门之<零>
计算机视觉入门之图像处理<一>：图像处理基础概念
计算机视觉入门之图像处理<二>：图像处理基础概念
计算机视觉入门之图像处理<三>：图像插值方法
计算机视觉入门之图像处理<四>：图像直方图均衡化
计算机视觉入门之图像处理<五>：图像平滑处理

---

前言

前一篇文章计算机视觉入门之图像处理<五>：图像平滑处理介绍了图像平滑滤波的原理和基本方法，平滑的主要作用是对图像进行降噪处理和模糊处理。在平滑后的图像降低了图像灰度的尖锐变化，而本篇文章主要介绍如何突出灰度的尖锐变化部分，即对图像进行锐化处理，如突出图像的边缘、轮廓。图像的平滑可以通过邻域像素点的像素值平均得到，这种邻域像素的加和求解与积分处理类似，与积分相反的是微分，因此逻辑上对图像进行微分处理可以达到锐化的效果，下面将讨论各种微分算子和实现锐化的方法。

微分基础

对于一元可微函数$f(x)$而言，一阶微分定义为：$$f^{\prime }(x)=\frac{df(x)}{dx}=\underset{\Delta x\to 0}{\lim }\frac{\Delta y}{\Delta x}$$ $$f^{\prime }(x)=\underset{\Delta x\to 0}{\lim }\frac{f(x+\Delta x)-f(x)}{\Delta x}\text{\hspace{1em}(1)}$$
二阶微分定义为：$$f^{{}^{\prime \prime }}(x)=\underset{\Delta x\to 0}{\lim }\frac{f^{{}^{\prime }}(x+\Delta x)-f^{{}^{\prime }}(x)}{\Delta x}\text{\hspace{1em}(2)}$$ $$f^{{}^{\prime }}(x+\Delta x)=\underset{\Delta x\to 0}{\lim }\frac{f(x+\Delta x)-f(x+\Delta x-\Delta x)}{\Delta x}\text{\hspace{1em}(3)}$$ 将式(1)改写为：$$f^{\prime }(x)=\underset{\Delta x\to 0}{\lim }\frac{f(x)-f(x-\Delta x)}{\Delta x}\text{\hspace{1em}(4)}$$再将式(4)和式(3)代入式(2)可得：$$f^{{}^{\prime \prime }}(x)=\underset{\Delta x\to 0}{\lim }\frac{f(x+\Delta x)+f(x-\Delta x)+2f(x)}{{\Delta x}^2}\text{\hspace{1em}(5)}$$微分必须满足以下定义：一阶微分在恒定灰度区域内微分值为零，在台阶或斜坡微分非零；类似二阶微分在恒定灰度区域内微分值为零，在灰度台阶或斜坡的起点和终点处微分非零。在数字图像中最短距离为相邻像素间距离，所以为$\Delta x$取1，则在连续函数中的$\Delta x\to 0$需要改写为$\Delta x\to 1$，则(1)式可写为: $$f^{\prime }(x)=\frac{df(x)}{dx}=f(x+1)-f(x)\text{\hspace{1em}(6)}$$
同理，二阶微分可表示为:$$f^{\prime \prime }(x)=\frac{d^{2}f(x)}{d{x}^2}=f(x+1)+f(x-1)-2f(x)\text{\hspace{1em}(7)}$$

上图表示的是在灰度恒定区域、灰度斜坡变化区域和灰度台阶变化区域对灰度值的一阶和二阶微分。由上图可知，在灰度恒定区域灰度的一阶微分为零，斜坡上一阶微分为常数；在灰度恒定区域灰度的二阶微分为零，斜坡上二阶微分为零；在斜坡和台阶的起点和终点处灰度值二阶微分不为零。由图还可以知道，在灰度斜坡或台阶变化前后二阶微分的符号有变化，进一步还可以看出，在灰度台阶变化时，二阶微分值的连线与水平轴相交，称为零交叉。

如上图所示,，最左边图为原图，中间图为图像一阶微分后的效果图，右图为二阶微分后的效果图。沿着灰度值斜坡过渡的一阶微分不为零，因此存在一个很粗的边缘，在台阶灰度值变化处一阶微分不为零；而二阶微分在灰度斜坡变化时产生两条边界，一正一负，在台阶灰度变化处产生双边缘(比一阶微分处的边缘亮)。因此无论是斜坡边缘还是台阶边缘，二阶微分都比一阶微分好得多。

一阶微分锐化

图像在$x$方向和$y$方向的一阶微分用梯度来表示，对于像素$f(x,y)$在$(x,y)$处的梯度可以表示为：$$\nabla f=grad(f)=\left[\begin{array}{c}{g}_x\\ g_y\end{array}\right]=\left[\begin{array}{c}\frac{\partial f(x,y)}{\partial x}\\ \frac{\partial f(x,y)}{\partial y}\end{array}\right]\text{\hspace{1em}(8)}$$ 结合式(6)可以将式(8)表示为： $$\nabla f(x,y)=\left[\begin{array}{c}{g}_x\\ g_y\end{array}\right]=\left[\begin{array}{c}f(x+1,y)-f(x,y)\\ f(x,y+1)-f(x,y)\end{array}\right]\text{\hspace{1em}(9)}$$ $$\left[\begin{array}{c}f(x+1,y)-f(x,y)\end{array}\right]=\left[\begin{array}{cc}-1& 1\end{array}\right]\left[\begin{array}{c}f(x,y)\\ f(x+1,y)\end{array}\right]$$ $$\left[\begin{array}{c}f(x,y+1)-f(x,y)\end{array}\right]=\left[\begin{array}{cc}f(x,y)& f(x,y+1)\end{array}\right]\left[\begin{array}{c}-1\\ 1\end{array}\right]$$其中$$\left[\begin{array}{cc}-1& 1\end{array}\right]$$$$\left[\begin{array}{c}-1\\ 1\end{array}\right]$$称为梯度算子(一维模板)。
如下表示的时$3\ast 3$的邻域像素矩阵：$$\left[\begin{array}{ccc}{f}_1& f_2& f_3\\ f_4& f_5& f_6\\ f_7& f_8& f_9\end{array}\right]$$将一维模板中的梯度算子扩展到$3\ast 3$的模板上，梯度运算可以表示为：$$g_x=(f_9+f_8+f_7)-(f_1+f_2+f_3)$$ $$g_y=(f_3+f_6+f_9)-(f_1+f_4+f_7)\text{\hspace{1em}(10)}$$ 则对应的模板为：$$\left[\begin{array}{ccc}-1& -1& -1\\ 0& 0& 0\\ 1& 1& 1\end{array}\right]$$ $$\left[\begin{array}{ccc}-1& 0& 1\\ -1& 0& 1\\ -1& 0& 1\end{array}\right]$$ 这两个模板称为Prewitt算子

利用Prewitt算子检测，效果如下图所示：

当式(10)中的中心系数变为2时：$$g_x=(f_9+2f_8+f_7)-(f_1+2f_2+f_3)$$ $$g_y=(f_3+2f_6+f_9)-(f_1+2f_4+f_7)$$ 则对应的模板为：$$\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]$$ $$\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]$$ 这两个模板称为Sobel算子，可以经过证明得出由于中心系数变为2可以较好地实现图像的平滑，因此Sobel算子可以较好地抑制噪声。
利用Sobel算子检测，效果如下图所示：

类似地，当我们需要对图像的对角线方向的边缘进行锐化时，需要采用二维模板在对角线方向进行梯度运算，对角线方向梯度可以表示为：$g_x=f_9-f_5$ ,$g_y=f_8-f_6$,则对应的二维模板为：$$\left[\begin{array}{cc}-1& 0\\ 0& 1\end{array}\right]$$ $$\left[\begin{array}{cc}0& -1\\ 1& 0\end{array}\right]$$上述用于计算对角线方向的二维模板称为Roberts算子
同样当我们需要在$3\ast 3$的模板上突出对角线的边缘时，可以改变Sobel算子和Prewitt算子对角线上的系数即可实现(以Sobel算子为例)：$$\left[\begin{array}{ccc}0& -1& -2\\ 1& 0& -1\\ 2& 1& 0\end{array}\right]$$以上讨论的是图像每个像素点处的梯度$g_x$和$g_y$， 在计算梯度幅度时，可以采用$$M(x,y)=|g_x|+|g_y|$$对梯度幅值进行近似计算，进而得到梯度图像。

二阶微分锐化

图像在$x$方向和$y$方向的二阶微分用拉普拉斯算子来表示：$${\nabla }^{2}f=\frac{{\partial }^{2}f}{\partial x^2}+\frac{{\partial }^{2}f}{\partial y^2}\text{\hspace{1em}(11)}$$由式(7)代入式(11)可得：$$\frac{{\partial }^{2}f}{\partial x^2}=f(x+1,y)+f(x-1,y)-2f(x,y)$$ $$\frac{{\partial }^{2}f}{\partial y^2}=f(x,y+1)+f(x,y-1)-2f(x,y)$$所以拉普拉斯算子可以表示为：$${\nabla }^{2}f=f(x+1,y)+f(x-1,y)+f(x,y+1)+f(x,y-1)-4f(x,y)\text{\hspace{1em}(12)}$$即：$${\nabla }^{2}f=\left[\begin{array}{ccc}f(x-1,y-1)& f(x-1,y)& f(x-1,y+1)\\ f(x,y-1)& f(x,y)& f(x,y+1)\\ f(x+1,y-1)& f(x+1,y)& f(x+1,y+1)\end{array}\right]\cdot \left[\begin{array}{ccc}0& 1& 0\\ 1& -4& 1\\ 0& 1& 0\end{array}\right]$$上式中右边的矩阵就称为拉普拉斯算子模板。
上述拉普拉斯算子模板在进行像素计算时，只考虑了邻域像素矩阵竖直方向和水平方向的像素，没有考虑对角线方向的像素，若想计算对角线方向像素的二阶微分的话，可行的方法就是将邻域像素矩阵以中心点为中心，逆时针旋转$45°$，则对角线像素旋转至水平或竖直方向，旋转之后邻域像素矩阵为：$$\left[\begin{array}{ccc}f(x-1,y)& f(x-1,y+1)& f(x,y+1)\\ f(x-1,y-1)& f(x,y)& f(x+1,y+1)\\ f(x,y-1)& f(x+1,y-1)& f(x+1,y)\end{array}\right]$$同理关于旋转之后邻域像素矩阵的拉普拉斯算子由式(12)可以表示为：$${\nabla }^{2}f=f(x-1,y+1)+f(x-1,y-1)+f(x+1,y+1)+f(x+1,y-1)-4f(x,y)$$
邻域像素在水平、竖直和对角线方向的拉普拉斯算子可表示为：$${\nabla }^{2}f=f(x-1,y-1)+f(x-1,y)+f(x-1,y+1)+f(x,y-1)+f(x,y+1)+f(x+1,y-1)+f(x+1,y)+f(x+1,y+1)-8f(x,y)$$ 对应的拉普拉斯模板为：$$\left[\begin{array}{ccc}1& 1& 1\\ 1& -8& 1\\ 1& 1& 1\end{array}\right]$$
常见的拉普拉斯模板如下图所示：

因为拉普拉斯算子强调图像中灰度的突变及衰减灰度慢变化区域的灰度，这将产生一幅把图像中的浅灰色边线和突变点叠加到暗背景中的图像。原始图像和拉普拉斯图像的叠加可以保护锐化处理的效果，同时又能复原背景信息。针对不同的拉普拉斯模板有不同的叠加方法：$$g(x,y)=f(x,y)+c{\nabla }^{2}f(x,y)$$当变换模板中心系数为负时,$c$=-1；当变换模板中心系数为正时,$c$=1；

图像锐化效果如上图所示。左图为原始图像，中间的是拉普拉斯图像，右图为锐化后的图像，拉普拉斯变换前后增强了图像中灰度突变处的对比度，使得细节部分得到很好的增强。

[1]数字图像处理：第3版/(美)冈萨雷斯(Gonzalez,R.C),(美)伍兹(Woods, R.E.)著.阮秋琦等译
[2]图像增强—图像锐化

[Until：2021年1月26日18时……]