matlab图片修复原理,图像修复 "Region filling and object removal by exemplar-based image inpainting" matlab实现...

介绍

本代码是对Region filling and object removal by exemplar-based image inpainting的MATLAB实现，用来对图像进行区域填充、物体移除。

算法

如图1所示，为算法伪代码。

图1 算法伪代码

区域划分

实现这个算法，首先需要进行图像区域的划分。如图2所示，

为目标区域，是需要进行填充的区域，

为源区域，作为填充数据的来源。

的边界为

。如果从像素值来看的话，可以将目标区域的像素值设置为0，但是0在图像中为黑色的意思，所以最好可以有一个辅助数组来标志缺失区域。

图2 区域划分与边界

计算边界区域

使用下面的代码可以方便地计算出边界点的位置。map是一个二值数组，只有0、1，其中1表示缺失像素值所在位置。计算出来的结果result中，1所在的位置就是边界点所在的位置。

result = imdilate(map, se) - map;

优先级的计算公式

边界上有很多像素点，以这些点为中心可以得到很多patch(比如9×9的patch)，对于这些patch，都需要计算一下他们的优先级是多少，以便从中选出一个优先级最大的块作为首要修复的对象。

对于一个patch，块的优先级计算公式：

其中，

代表这个待修复块的中心点，

表示块的置信度，

为data term。

置信度的计算公式是：

其中，

表示置信度，其中

为整张图像，

为

的缺失区域，

为待填充的块，

为块的面积。

为块中的像素点的置信度，在初始化的时候，已存在的像素点的置信度为1，缺失的像素点的置信度为0，在修复过程中，修复出来的像素点的置信度被更新为块的置信度

，由此可知，随着修复过程的推进，修复出来的像素点的置信度会越来越小。

data term的计算公式为：

公式3，这里是等照度向量与法向量

的点乘再求模长，

为归一化因子。

在计算等照度向量的时候需要先计算

点的image gradient，等照度线向量为gradient逆时针旋转90°，gradient代表了像素值变化最快的方向，而等照度线向量与gradient垂直，代表了变化最慢的方向。

image gradient

暴力搜索

计算出每一个patch的优先级之后，从中选出一个优先级最高的patch作为待修复对象，如

。再使用暴力法，从源区域中选出一个与之最相近的块

，将

中对应的像素拷到

中(这里只需要修复

中缺失的像素点)。使用暴力法的时候，衡量两个块之间的距离时，使用SSD(差的平方和)作为距离，由于

本身就缺失了部分像素值，所以计算的就是

非缺失像素和其他patch对应位置像素值的SSD。

注意，在修复过程的迭代中，缺失区域逐渐变小，但是提供像素来源的目标区域固定不变。因为目标区域中，修复出来的像素值可信度比较低，不予以采用。

效果

原图

缺失信息

修复之后

参考文献

Criminisi A, Pérez P, Toyama K. Region filling and object removal by exemplar-based image inpainting[J]. IEEE Transactions on image processing, 2004, 13(9): 1200-1212.

Criminisi A, Perez P, Toyama K. Object removal by exemplar-based inpainting[C]//Computer Vision and Pattern Recognition, 2003. Proceedings. 2003 IEEE Computer Society Conference on. IEEE, 2003, 2: II-II.

https://github.com/IouJenLiu/Region-Filling-and-Object-Removal