多媒体技术与应用实验之图像修复

一、实验内容
1.单幅图像的修补
2.结合彩色图像和深度图像的图像修补
3.设计新的图像修补算法TV算法并验证效果
二.实验原理
1.单幅图像修补简介
图像中常有缺失或者损坏的部分，即空白区域或者有误的区域。图像修补就是根据这些区域周围的信息完成对空白区域的填充，以实现图像的恢复。如图1.1.1.

图1.1.1
2.普通的图像修补的基本原理

点(x,y)为空白点，(i,j)为参考点，R为参考点构成的集合，W(i,j)为点(i,j)的权重，I(i,j)为点(i,j)的彩色信息，即其RGB通道的值。I(x,y)即为空白点(x,y)的所取的值
3.图像修补的基本方法示例
a).向空白点周围八个方向寻找参考点，取距离的二次方的倒数为加权系数。如图1.1.2

b).选取空白点周围的一片区域，对区域内的参考点进行加权求和，其结果用于对空白点的修补。若所选窗口太小，即窗口中无参考点，则将窗口扩大。如图1.1.3

4.图像修补的步骤
a).读入一个像素点，判断其是否为空白点。
b).若不是空白点，则跳过该点，判断下一个点。
c).若该点是空白点，则用前面所述的方法进行加权修补。
b).对图像中的每一个点都进行如此处理，直至全图处理完毕，则图像修补完成。
5.利用深度图的图像修补简介
实际场景中存在前景与背景的区别，前景会遮挡背景，而且前景与背景往往差距比较大。深度图用于表示3D空间中的点与成像平面距离的灰度图。0~255表示，灰度值越大，表示场景距离成像平面越近，反之，灰度值越小，表示场景距离成像平面越远。前景的灰度值大，背景的灰度值小。如下深度图1.1.4.

普通的图像修补区分不了图像的前景和背景，简单的加权求和填补空白点的方法会导致前景和背景的混杂。引入深度图之后，可以利用深度图区分图像的前景和背景，在对背景进行修补的时候，可以利用深度图滤除那些前景参考点的影响，从而使背景的空白点只由背景点加权求和得到，前景亦然。


三、算法流程图
1.单幅图像的修补流程图

2. 基于深度图像修补流程图

四、实验结果与分析
1.单幅图像的修补

2.基于深度图像修补

2.实验分析：
两幅图像对原缺失图像有了很大的修正，而且都得到了不错的效果，但相对于原始图像是无法比的。我们可以通过单幅图像修补结果与深度图像修补结果来比较两种方法的不同和优缺点。其中最明显的对是空白区的填补，这两种方法的差距非常大，对于基于深度图像修补的方法，由于其考虑了深度图，所以对填补的空白点改变的比较彻底，但是在单幅图像修补中相对宽的空白区域，修补后的效果是一种渐变的过程，也就是说填补的空白区域受边缘的影响非常之大，这就是因为普通的图像修补区分不了图像的前景和背景，简单的加权求和填补空白点的方法会导致前景和背景的混杂。而引入深度图之后，可以利用深度图区分图像的前景和背景，在对背景进行修补的时候，可以利用深度图滤除那些前景参考点的影响，从而使背景的空白点只由背景点加权求和得到，前景亦然。所以总的来说，两种修补方法都不错，但结合深度图像的修补显得更真实，更符合客观的要求一些。
五、新的图像修补算法TV算法
1.算法原理及运算步骤
整体变分（Total Variation）的方法最早是用来对受到噪声污染的图像进行降噪的，在这方面的应用最早是由L.Rudin和S.Osher等人在1992年提出的，2002年Chan等人把TV模型推广到图像修补中，并提出了基于TV模型的图像修补方法，同时说明了TV修补模型的缺点，进一步提出了CDD修补模型（curvature driven diffusions），此修补模型改正了TV修补模型的缺陷，对图像的修补具有很好的效果。
如图所示：D区域是被污染区（待修复），E是D的邻域，如图1.5.1

给出TV模型的数学公式：
其中：u是图像中的像素点，λ为设定的参数。
在该模型基础上，考虑到噪声的影响，边界E区域产生的噪声不能超过一定的范围；根据最佳猜测和贝叶斯理论，要求图像u在满足约束条件下使它的能量泛函最小，因此约束条件记做：公式②。根据拉格朗日乘数法，将①②方程转化成为一个求极值的方程，对其求导数并令其等于0，可得到如下方程：

其中：div代表散度
由于图像是离散的数值，故可看做如下构成。其中：O为污染点，邻域B=(N,S,W,E)，半像素邻域B’ =(n,s,w,e)。