论文笔记-Adaptation self-recovery for tampered images based on VQ indexing and inpainting(2)

原文地址： https://www.sciencedirect.com/science/article/abs/pii/S0165168412004082

目录

三、Image self-recovery procedure 图像自恢复过程

3.1 Recovery-bits  extraction

3.2. Classification judgment for tampered block 篡改块的分类判断

3.3. Adaptive recovery mechanism 自适应恢复机制

四、 Experimental results and comparisons 实验结果与对比

总结

---

三、Image self-recovery procedure 图像自恢复过程

生成的含水印图像通过开放信道传输到接收端，在传输过程中， 水印图像可能被攻击或者篡改，因此接收者应该识别接收图像的完整性并且检测出篡改区域，并对其进行恢复。

3.1 Recovery-bits  extraction

假设接收图像的大小在传输过程中没有改变。

嵌入式恢复位可以很容易地从高 r-r1 LSB平面提取得到的图像和逆转使用相同的密钥。接收的图像被分为k个n*n大小的块(recovery-bits的所有图像块大小相同)，假设我们有能力使用图像认证方法按块精度进行篡改定位，并且可以检测到所有被篡改的块，则只需要对局部的篡改块进行镜像恢复即可。

图4 为身份验证和恢复过程的流程图

3.2. Classification judgment for tampered block 篡改块的分类判断

对于每个被篡改的块，首先，在被篡改之前，应分析其相应的提取恢复位以确定是复杂块还是平滑块。尽管一个块的恢复位通过水印嵌入阶段的干扰隐藏在其他块的LSB平面中，但是由于对其他块的篡改，给定块的提去位也可能被破坏。

假设当前用于恢复的块B(i)是一个被篡改前的复杂块，我们将提取的恢复位C(i)分成长度相等的λ段

 我们称分割Cj(下标) (i)(上标)，其全部从完整块中提取为有效分割。等式中有效分段的最大数量公式10相同记为μ1，μ1等于0 或者属于[2,λ1].另一方面，如果我们假设当前用于恢复的区块B(i)在被篡改之前是一个光滑的区块，其提取的恢复位C(i)可以分为长度为L的指示位串F(i)和长度为log2N的长度相等的λ2分段

 同样，方程式中有效分段的最大数量公式11记为μ2其等于0或者属于[2, λ2]，因此我们可以通过等式判断当前块的分类以进行恢复。

(复杂块，平滑块，不确定块）只有当μ1与μ2都等于0时才被分为不确定块，这意味着无法从当前块中检索到VQindexs的有效重复进行恢复，这可能是由于严重篡改。

---

 图五为自适应恢复机制流程图；首先对篡改块进行分类，判断是否符合复杂块和平滑块的取值范围，是则归类，不是则被划分为不确定块；若为复杂块则使用VQ index进行恢复，若为不确定块则用inpainting进行恢复。平滑块根据阈值进行下一步分类，符合E>=ET使用VQ index进行恢复，符合E<ET使用inpainting进行恢复。

3.3. Adaptive recovery mechanism 自适应恢复机制

对所有被篡改的块进行分类后，采用自适应机制进行恢复。

首先，扫描所有由等式分类的篡改复杂块，按照光栅扫描顺序，对每个被篡改的复杂块有效分割(公式10 VQindex值)

从而，利用发送方同一个码本中对应的码字变换为n*n矩阵后替换被篡改的块。

2.2中提出平滑块更适合用inpainting来修复而不是使用VQ index。然而，如果当前平滑块的周围区域被大面积损坏，则修复技术可以利用的完整相邻信息很少，这可能会影响恢复质量。因此在对平滑块进行恢复之前，首先要对其周围区域的篡改程度进行评估。(6为原始图像，7为水印图像，8为篡改图像)

 

 

 对当前平滑块的邻域作为E，篡改区域阈值E小于预定阈值ET,说明周围区域的篡改程度不严重，因此可以使用图像修复来恢复当前平滑块。与基于插值的方法和基于块的方法相比，基于PDE的修复方法更具有令人满意的修复性能，特别是对于图像边缘区域的结构信息。

Table 1 Results of classification judgments for tampered blocks

Image All tampered blocks Complex blocks Smooth blocks Uncertain blocks E>=ET E<ET Lena   852 562 161 124 5 Sailboat   1782 996 50 730 6

因此这项工作中采用了使用变分模型的基于PDE的修复技术，改模型可以将邻近的灰度信息平滑地传播到目标区域，同时保留清晰的边缘结构

 其中▽I(x,y)为图像像素I(x,y)的梯度，t为时间索引，div(.)为散度算子，Ω+表示所有满足E<ET的篡改平滑块组成的区域，即Ω及其相应的完整邻域。即∂Ω。离散化方程式后，我们可以通过有限差分法得到Ω+中像素值的解。只有Ω中的块被方程13相应的解代替生成恢复结过。

 不确定块可能是复杂块 ，也可能是被篡改前的平滑块，但是由于它们的恢复位被严重破坏，我们使用图像修复直接恢复所有不确定块。

 综上，根据不同的分类和损坏程度，所有的被篡改的块都可以通过VQindex 和 image inpainting 自适应的恢复，图5可以说明。

四、 Experimental results and comparisons 实验结果与对比

在一组不同尺寸的灰度图像上进行实验，验证了所有方案的有效性。

实验中，划分的非重叠图像块大小为4*4，即n=4.因此，所用VQ码本中每个码字的长度为16.覆盖块分类的阈值T设置为5.实际上，为了达到所提出方案的最优恢复结果，对于分布相对平滑的图像，T应该设置的更大些，对于分布相对复杂的图像，T应该设置的更小些，这可以通过反实验来确定机制。Wong 提出的方法用于我们方案中的认证位生成和篡改定位。

在水印嵌入过程中，封面图像五个最高有效位(MSB)被保留，三个LSB被体换位水印位 ，即 r=3,

第一个LSB平面嵌入了认证位 即r1=1,其他两个LSB平面嵌入了恢复位。假设封面图像的三个LSB分布是均匀的。每个像素的水印嵌入引起的图像失真平均能量为

 因此，水印图像的理论峰值信噪比(PSNR)可以使用等式近似计算。

 

 图6为原始图像，图7是嵌入水印后的图像，与图6视觉上不易察觉。用于生成这两个图像的恢复位的VQ码本有256个码字。即N=256，两幅图的峰值信噪比为37.91dB和37.92dB。

我们分别在图7上生成随机划痕和散点。生成图8的篡改图像。使用提取的认证位定位所有篡改块后，在恢复前对篡改块进行分类判断。表一显示了对篡改块的分类。

Table 2  Results of recovered images using different codebooks

Tampered images	PSNR of recovered images with different codebooks(dB)
	N=128	N=256	N=512	N=1024
Fig.10 a	35.55	35.84	36.52	36.70
Fig.10 b	33.96	34.43	35.05	35.32

 实验中设置阈值ET为4，即如果被篡改的相邻块数小于4，平滑块应该通过inpainting恢复；否则通过VQ index恢复。从表一可知对于图像Lena,通过VQ index和inpainting分别恢复了723个块和129个块，对于图像sailboat，通过VQ index 和inpainting分别恢复了1046个块和736个块，恢复的图9峰值信噪比分别为38.39dB和37.81dB。

我们还通过使用不同的VQ码本评估所提出方案的恢复性能。首先，使用四个测试码本生成了Lena的四个版本的水印图像。测试中使用的四个码本的码字数，即N，分别为128 ，256，512，1024.然后对这些水印图像进行两种破坏，如图10所示，篡改百分比分别为18.7%和33.9%。图11和12分别给出了图10 a和b中两种损坏形式的恢复结果，以及两个图中的图像a和b。图11和12是分别具有128，256，512，1024个码字的码本结果。λ1和λ2对于各种码本可能不同。对于具有128和256个码字的码本，λ1和λ2分别等于4和3，而对于具有512和1024个码字的码本，λ1和λ2分别等于3和2.表2显示了不同码本恢复图像的峰值信噪比值。

接下来的图13进行了不同篡改比例的恢复性能实验。水印图像Lena从中间区域开始裁剪，裁剪区域逐渐增加(本实验中使用的VQ码本的码字数为256)。

在图13中，从左到右第一行图像的篡改比例分别为5%，15%，25%，35%；第三行篡改比例为45%，55%，65%,75%恢复结果分别在二、四行

 第二行对应的峰值信噪比值分别为38.42dB，37.39dB，35.86dB，32.16dB；最后一行分别为30.07dB, 28.22dB, 25.98dB, 23.53dB,从图13可知，通过使用自适应恢复机制，VQindex 和 inpainting可以成功的修复被篡改块，当篡改区域不大时效果令人满意。但是当篡改区域过大，超过65%时，嵌入的指示位串和VQ index 可能会被严重破坏，部分块的分类可能会被误判，从而导致inpainting的误用以及不适当的恢复结果。

 

 

 

Table 3 Comparison of recovery performance between the proposed and [26]

Images	Tampered%	Scheme in [26](dB)	Proposed scheme(dB)
Lena	5.2	37.26	38.39
Sailboat	10.9	35.94	37.81
Lake	6.9	36.18	37.22
Woman	15.0	34.87	36.13

 除了图中所示的随机和常规的损坏，图8和10，我们还进行了有意义的内容替换的篡改恢复实验。为了将我们的方案和26中的方案进行比较，首先使用这两种方案生成水印图像，然后修改水印图像的内容。

图14显示了封面图像Lake和Woman，相应的水印需改版本图像如图15所示，16ab和17ab分别显示了6中的方案恢复的结果和提议的计划。表3给出了图8和图15中篡改图像的恢复结果的峰值信噪比值。26和所提出方案中使用的码本的码字数N为256.由于自适应自恢复机制的良好性能，从表3可以看出我们的方案可以有效的恢复被篡改的图像，并且它恢复的图像比26中的方案恢复的图像有更高的PSNR值。

总结

在本文中,我们提出了一种自适应自动恢复方案篡改数字图像。由于性能良好的压缩表示矢量量化图像修复的自动恢复功能,这两个技术是集成在我们的自恢复计划。具有不同特征的覆盖图像块被分为复杂块和平滑块。每个块的恢复位是由 VQindex和inpainting indicator的多个副本生成。在接收机端，可以通过提取的恢复位来判断每个被篡改块的分类。由于考虑了提取的VQindex的有效性和相邻块的损坏程度，自适应恢复机制可以通过VQindex和图像修复有效地恢复所有被篡改的块。VQ indexing可以为复杂块实现良好的恢复质量，而图像修复可以在相邻区域未被严重篡改的情况下更准确地修复平滑块。此外,对于嵌入式VQindex全部被损坏的不确定块,图像修复仍能保证恢复过程完成。实验结果表明,我们的计划已经为各种图像篡改满意的恢复性能。