计算机视觉技术 - 图像平滑

计算机视觉技术 - 图像平滑

图像平滑是指受硬件、环境等因素的影响，图像上会出现某些亮度变化过大的区域，或出现一些亮点(也称噪声)。这种为了抑制噪声，使图像亮度趋于平缓的处理方法就是图像平滑。图像平滑实际上是低通滤波，平滑过程会导致图像边缘模糊化。

2D卷积（图像过滤）

与一维信号一样，可以使用各种低通滤波器（LPF），高通滤波器（HPF）等对图像进行滤波。LPF有助于消除噪声，使图像模糊等。HPF滤波器有助于在图像中找到边缘。 OpenCV提供了一个函数 filter2D() 来将内核与图像进行卷积。例如，我们将尝试对图像进行平均滤波。5x5平均滤波器内核如下所示：

$$K=\frac{1}{25}\left[\begin{array}{ccccc}1& 1& 1& 1& 1\\ 1& 1& 1& 1& 1\\ 1& 1& 1& 1& 1\\ 1& 1& 1& 1& 1\\ 1& 1& 1& 1& 1\end{array}\right]$$

操作如下:保持这个内核在一个像素上，将所有低于这个内核的25个像素相加，取其平均值，然后用新的平均值替换中心像素。它将对图像中的所有像素继续此操作。

参考代码

import numpy as np
import cv2 as cv
from matplotlib import pyplot as plt
temp = cv.imread('../data/gd.jpg', cv.IMREAD_COLOR)
img = cv.cvtColor(temp,cv.COLOR_RGB2BGRA)
kernel = np.ones((5,5),np.float32)/25
dst = cv.filter2D(img,-1,kernel)
plt.figure(figsize=(16,8))
plt.subplot(121),plt.imshow(img),plt.title('Original')
plt.xticks([]), plt.yticks([])
plt.subplot(122),plt.imshow(dst),plt.title('Filter2D')
plt.xticks([]), plt.yticks([])
plt.show()

图 1. 进行图像平滑 2D 卷积操作后的图像

图像模糊（图像平滑）

通过将图像与低通滤波器内核进行卷积来实现图像模糊。这对于消除噪音很有用。它实际上从图像中消除了高频部分（例如噪声，边缘）。因此，在此操作中边缘有些模糊。（有一些模糊技术也可以不模糊边缘）。OpenCV主要提供四种类型的模糊技术。

1. 平均
这是通过将图像与归一化框滤镜进行卷积来完成的。它仅获取内核区域下所有像素的平均值，并替换中心元素。这是通过功能 blur() 或 boxFilter() 完成的。我们应该指定内核的宽度和高度。3x3 归一化框式过滤器如下所示：

$$K=\frac{1}{9}\left[\begin{array}{ccc}1& 1& 1\\ 1& 1& 1\\ 1& 1& 1\end{array}\right]$$

查看下面的示例演示，其内核大小为 5x5 ：

参考代码

import cv2 as cv
import numpy as np
from matplotlib import pyplot as plt
temp = cv.imread('../data/gd.jpg', cv.IMREAD_COLOR)
img = cv.cvtColor(temp,cv.COLOR_RGB2BGRA)
blur = cv.blur(img,(5,5))
plt.figure(figsize=(16,8))
plt.subplot(121),plt.imshow(img),plt.title('Original')
plt.xticks([]), plt.yticks([])
plt.subplot(122),plt.imshow(blur),plt.title('Blurred')
plt.xticks([]), plt.yticks([])
plt.show()

图 2. 进行图像平滑 - 平均操作后的图像

2. 高斯模糊
高斯核代替盒式滤波器,这是通过功能 GaussianBlur() 完成的。我们应指定内核的宽度和高度，该宽度和高度应为正数和奇数。我们还应指定 X 和 Y 方向的标准偏差，分别为 sigmaX 和 sigmaY 。如果仅指定 sigmaX，则将 sigmaY 与 sigmaX 相同。如果两个都为零，则根据内核大小进行计算。高斯模糊对于从图像中去除高斯噪声非常有效。如果需要，可以使用函数 getGaussianKernel() 创建高斯内核。
查看下面的示例演示，其内核大小为 5x5 ：

参考代码

import cv2 as cv
import numpy as np
from matplotlib import pyplot as plt
temp = cv.imread('../data/gd.jpg', cv.IMREAD_COLOR)
img = cv.cvtColor(temp,cv.COLOR_RGB2BGRA)
blur = cv.GaussianBlur(img,(5,5),0)
plt.figure(figsize=(16,8))
plt.subplot(121),plt.imshow(img),plt.title('Original')
plt.xticks([]), plt.yticks([])
plt.subplot(122),plt.imshow(blur),plt.title('GaussianBlurred')
plt.xticks([]), plt.yticks([])
plt.show()

图 3. 进行图像平滑 - 高斯模糊操作后的图像

3. 中位模糊
函数 cv.medianBlur() 提取内核区域下所有像素的中值，并将中心元素替换为该值。这对于消除图像中的椒盐噪声非常有效。有趣的是，在上述过滤器中，中心元素是新计算的值，该值可以是图像中的像素值或新值。但是在中值模糊中，中心元素总是被图像中的某些像素值代替。有效降低噪音。其内核大小应为正奇数整数。
查看下面的示例演示，原始图像添加了 50％ 的噪声并应用了中值模糊。检查结果：

参考代码

import cv2 as cv
import numpy as np
from matplotlib import pyplot as plt
temp = cv.imread('../data/gd.jpg', cv.IMREAD_COLOR)
img = cv.cvtColor(temp,cv.COLOR_RGB2BGRA)
median = cv.medianBlur(img,5)
plt.figure(figsize=(16,8))
plt.subplot(121),plt.imshow(img),plt.title('Original')
plt.xticks([]), plt.yticks([])
plt.subplot(122),plt.imshow(median),plt.title('MedianBlurred')
plt.xticks([]), plt.yticks([])
plt.show()

图 4. 进行图像平滑 - 中位模糊操作后的图像

4. 双边滤波
bilateralFilter() 在去除噪声的同时保持边缘清晰锐利非常有效。但是，与其他过滤器相比，该操作速度较慢。高斯滤波器采用像素周围的邻域并找到其高斯加权平均值。高斯滤波器仅是空间的函数，也就是说，滤波时会考虑附近的像素。它不考虑像素是否具有几乎相同的强度。它不考虑像素是否是边缘像素。因此它也模糊了边缘。而双边滤波器在空间中也采用高斯滤波器，但是又有一个高斯滤波器，它是像素差的函数。空间的高斯函数确保仅考虑附近像素的模糊，而强度差的高斯函数确保仅考虑强度与中心像素相似的那些像素的模糊。由于边缘的像素强度变化较大，因此可以保留边缘。
以下示例显示了使用双边过滤器。

参考代码

import cv2 as cv
import numpy as np
from matplotlib import pyplot as plt
img = cv.imread('../data/gd.jpg', cv.IMREAD_COLOR)
#RGB2BGR
img = img[:,:,::-1]
plt.figure(figsize=(16,8))
blur = cv.bilateralFilter(img,9,75,75)
plt.subplot(121),plt.imshow(img),plt.title('Original')
plt.xticks([]), plt.yticks([])
plt.subplot(122),plt.imshow(blur),plt.title('BilateralFiltered')
plt.xticks([]), plt.yticks([])
plt.show()

图 5. 进行图像平滑 - 双边滤波操作后的图像

参考资料

• OpenCV API, https://docs.opencv.org/
• matplotlib.pyplot.subplot, https://matplotlib.org/stable/api/_as_gen/matplotlib.pyplot.subplot.html#matplotlib.pyplot.subplot
• matplotlib.pyplot.imshow, https://matplotlib.org/stable/api/_as_gen/matplotlib.pyplot.imshow.html