1. 目标:
- 使用修补技术去除老照片中小的噪音和划痕
- 使用 OpenCV 中与修补技术相关的函数
2. 基础
在我们每个人的家中可能都会几张退化的老照片,有时候上面不小心在上面弄上了点污渍或者是画了几笔。你有没有想过要修复这些照片呢?我们可以使用笔刷工具轻易在上面涂抹两下,但这没用,你只是用白色笔画取代了黑色笔画。此时我们就要求助于图像修补技术了。这种技术的基本想法很简单:使用坏点周围的像素取代坏点,这样它看起来和周围像素就比较像了。如下图所示:
为了实现这个目的,科学家们已经提出了好几种算法,OpenCV 提供了其中的两种。这两种算法都可以通过使用函数 cv2.inpaint()来实施。
第一个算法是根据 Alexandru_Telea 在 2004 发表的文章实现的。它是基于快速行进算法的。以图像中一个要修补的区域为例。算法从这个区域的边界开始向区域内部慢慢前进,首先填充区域边界像素。它要选取待修补像素周围的一个小的邻域,使用这个邻域内的归一化加权和更新待修复的像素值。权重的选择是非常重要的。对于靠近带修复点的像素点,靠近正常边界像素点和在轮廓上的像素点给予更高的权重。当一个像素被修复之后,使用快速行进算法(FMM)移动到下一个最近的像素。FMM 保证了靠近已知(没有退化的)像素点的坏点先被修复,这与手工启发式操作比较类似。可以通过设置标签参数为 cv2.INPAINT_TELEA 来使用此算法。
第二个算法是根据 Bertalmio,Marcelo,Andrea_L.Bertozzi, 和 Guillermo_Sapiro在 2001 年发表的文章实现的。这个算法是基于流体动力学并使用了偏微分方程。基本原理是启发式的。它首先沿着正常区域的边界向退化区域的前进(因为边界是连续的,所以退化区域非边界与正常区域的边界应该也是连续的)。通过匹配待修复区域中的梯度向量来延伸等光强线(isophotes,由灰度值相等的点练成的线)。为了实现这个目的,作者是用来流体动力学中的一些方法。
完成这一步之后,通过填充颜色来使这个区域内的灰度值变化最小。可以通过设置标签参数为 cv2.INPAINT_NS 来使用此算法。
我们要创建一个与输入图像大小相等的掩模图像,将待修复区域的像素设置为 255(其他地方为 0)。所有的操作都很简单。我要修复的图像中有几个黑色笔画,也就是mask。这个mask需要自己制作。
代码演示:
import cv2
from matplotlib import pyplot as plt
img = cv2.imread('messi.jpg')
mask = cv2.imread('mask.png',0)
dst1 = cv2.inpaint(img,mask,3,cv2.INPAINT_NS)
dst2 = cv2.inpaint(img,mask,3,cv2.INPAINT_TELEA)
plt.subplot(221),plt.imshow(cv2.cvtColor(img, cv2.COLOR_BGR2RGB))
plt.title('src'),plt.xticks([]),plt.yticks([])
plt.subplot(222),plt.imshow(cv2.cvtColor(mask, cv2.COLOR_BGR2RGB))
plt.title('mask'),plt.xticks([]),plt.yticks([])
plt.subplot(223),plt.imshow(cv2.cvtColor(dst1, cv2.COLOR_BGR2RGB))
plt.title('NS'),plt.xticks([]),plt.yticks([])
plt.subplot(224),plt.imshow(cv2.cvtColor(dst2, cv2.COLOR_BGR2RGB))
plt.title('TELEA'),plt.xticks([]),plt.yticks([])
plt.show()
结果如下。第一幅图是退化的输入图像,第二幅是掩模图像。第三幅是使用第而个算法的结果,最后一副是使用第一个算法的结果。