Reversible Attack相关论文阅读

一、《Reversible Attack based on Local Visual Adversarial Perturbation》

• RAE(reversible adversarial examples)的发展脉络：

最初采用可逆信息隐藏技术将原始图像与对抗样本之间的信号误差嵌入到对应的对抗样本中，得到诱使模型误分类的可逆对抗样本。同时，该方法可以从对抗样本中提取对抗扰动，并利用可逆对抗样本减去扰动得到原始图像。在生成对抗样本的过程中，如果扰动幅度太小，无法达到攻击的效果；扰动太大的话，会导致三个问题的出现：

1、可逆数据嵌入不能完全，导致无法回复原始图像；

2、可逆对抗样本严重失真，图像质量不理想；

3、由于RAE畸变增加，攻击能力相应下降。

为了解决上述问题，后来提出用可逆变换RIT的思想代替数据嵌入来构造可逆的对抗样本，直接将原始图像伪装成它的对抗样本，得到可逆的对抗样本，不受扰动幅度的限制；并且可以在保证RAE的视觉质量的同时，实现更高攻击成功率的可逆攻击。

但是这两种方法针对的是人们无法察觉的传统对抗性噪声，没有考虑到局部可见的对抗性扰动。

本文作者进行了相关实验——首先训练对抗补丁，确定补丁在图像中的位置，再使用RIT生成可逆对抗样本，输入模型测试成功率。在此过程中，发现以下问题：

1、在可逆图像变换过程中，辅助信息的嵌入对原始对抗性扰动的影响被忽略，导致可逆对抗样本的攻击成功率显著下降。

2、可逆图像变换技术所需的辅助信息量比较稳定，不会随着扰动大小的减小而变小，导致可逆对抗样本严重失真，影响视觉质量。

• 本文思路

Basin Hopping Evolution (BHE) algorithm [31] to discover the patch’s ideal position when applying it to the image. The BHE algorithm combines the Bopping Evolution algorithm and the evolutionary algorithm. First, initialize the population, and then begin the iterative process. Using one iteration as an example, first, use the BH algorithm to develop a better series of solutions, then perform crossover and selection operations to choose the next generation population. To maintain the diversity of solutions, the BHE algorithm has numerous starting points and crossover operations to obtain the global optimal solution.

 1、获取AE：

Basin Hopping Evolution (BHE) 算法在将补丁应用于图像时发现补丁的理想位置。 BHE算法结合了Bopping Evolution算法和进化算法。首先，初始化种群，然后开始迭代过程。以一次迭代为例，首先使用 BH 算法开发出更好的系列解，然后进行交叉和选择操作来选择下一代种群。为了保持解的多样性，BHE 算法通过大量的起点和交叉操作来获得全局最优解。

2、获取RAE：

使用对抗样本作为载体图像，利用可逆数据嵌入技术将补丁覆盖的原始图像的像素值嵌入到载体图像中。采用BRG嵌入原理减少对彩色图像视觉质量的影响，为每个通道分配一个标志位和阈值。为了保证信息的完全嵌入，采用WebP对嵌入图像进行压缩，然后使用预测误差扩展PEE，一种具有巨大嵌入容量的可逆数据嵌入方法，利用率更多相邻像素的相关性。之后，将RGB每个通道对应的对抗性补丁、标志、阈值的坐标作为辅助信息，并使用相同的数据嵌入方法将辅助信息嵌入图像的左上角。

3、获得原始图像：

提取辅助信息（根据固定阈值，数据提取算法，提取包括三个通道的patch、标志、阈值）、提取图像信息（根据补丁坐标对图像进行裁剪和重组）、恢复图像（对提取的图像解压，根据patch坐标将恢复的图像覆盖到patch图像，从而恢复原始图像，没有任何失真。）

• 数据集介绍

We choose ImageNet  dataset for experiments. In order to train the adversarial patch, we choose a train set of 2000 images. The patch size is 38×38, 42×42, 48×48, and 54×54, respectively, and these do not exceed 6% of the image size. During the testing phase, 600 images are selected randomly as the test set and ResNet50  is chosen as the target model

• 实验结果分析

1. 采用攻击成功率来比较有效性。
2. 采用PSNR（peak signal-to-noise ratio）测量生成的可逆对抗样本的失真。 

 I,K代表 m*n的图像，PSNR越小，表示图像失真程度越严重。

     3.采用SSIM（Structural similarity）测量RAE和AE的结构相似性。

u为像素，δ为各自的标准差以及协方差，C1/C2/C3/为常数，SSIM分别从亮度、对比度和结构来衡量图像相似度。（0~1） 

 我们发现基于RIT的方法的PSNR值保持在34左右，SSIM值保持在0.95。这是因为该方法中辅助信息的嵌入量本质上是恒定的，因此即使patch size减小，图像失真也很严重。随着patch尺寸的减小，嵌入的信息量变小，patch外的区域扩大，因此图像的PSNR上升，在我们提出的方法中SSIM值甚至接近0.99。因此，我们的方法生成的可逆对抗样本的图像失真小于基于 RIT 的方法生成的图像失真。因此，我们可以更好地保留原始对抗性扰动的独特结构。

从Tab的结果可以看出： 我们的攻击性能优于基于 RIT 的方法，因为我们更好地保留了原始对抗性扰动的独特结构。图像中的对抗性补丁比其他对象更显著。因此，网络检测到对抗性补丁并忽略图像中的其他目标，从而导致图像被错误分类。基于 RIT 的方法在生成可逆对抗样本时直接将原始图像转换为目标图像。它没有考虑嵌入辅助信息时对初始对抗性扰动的影响。本文描述的方法在信息嵌入时避开了patch所在的区域，从而减少了对初始对抗性扰动的影响。

结论

在本文中，对基于局部课件的对抗性扰动探索了对抗样本的可逆性，提出的方法通过将信息嵌入到补丁以外的区域以保持对抗能力并实现图像可逆性。为了保证RAE的视觉质量，采用无损压缩来减少为恢复原始图像而必须嵌入的数据量。和基于RIT的相比，本方法实现了完全可逆性和最先进的攻击性能。对于相同大小的图像块，区域块平滑，无损压缩效率越高，压缩数量就越小。因此，以后的方向是尽可能将对抗性扰动休不到平滑区域以提高性能。

二、《Unauthorized AI cannot Recognize Me: Reversible Adversarial Example》

• 摘要：

RAE的一个显着特点是图像可以被用户指定的AI模型正确识别和使用，因为授权的AI可以通过消除对抗性扰动从RAE中准确地恢复原始图像。另一方面，其他未经授权的 AI 模型无法正确识别它，因为它起到了对抗样本的作用。此外，RAE 可以被认为是计算机视觉的一种加密类型，因为可逆性保证了解密。为了实现 RAE，我们结合了三种技术，对抗样本，用于精确恢复对抗性扰动的可逆数据隐藏，以及用于选择性控制可以消除对抗性扰动的 AI 的加密。实验结果表明，该方法可以达到与相应的对抗性攻击方法相当的攻击能力和与原始图像相似的视觉质量，包括白盒攻击和黑盒攻击。

考虑的出发点：目前的图片加密智能认为是图片扰动，没有解密过程，除了原始图像持有者之外，没有人可以恢复原始图像。

• 采用的方法：reversible data hiding(RDH,可逆数据隐藏)+highly functional encryption(高功能加密)，在imagenet数据及上验证。

RDH算法：压缩嵌入、差异扩展、直方图休整（本文采用的方法，利用自然图像的颜色直方图分布不均匀，通过以图像的视觉外观不会发生显著变化的方式移动颜色直方图的bins，可以将一定量的信息编码到图像中而不会被检测到）

• 算法流程：

 将扰动和辅助信息auxiliary information一起通过RDH进行加密。（个人想法：这一点要考虑好方法的未来应用，这种可逆的对抗样本恢复技术用在哪里比较合适）

RDH只适合将短长度的信息嵌入到大图像中，所以suggest 将图像划为超像素（通过平滑将2*2平铺中的像素视为单像素），然后嵌入为超像素生成的对抗扰动。

（将 X 表示为大小为 H × W × C 的原始图像，并将 X0 表示为其大小为 H × W × C 的对抗样本。每个像素可以取 {0, 1, .. . . , 255}。对于每个颜色通道 C（C 为 r、g 或 b），将原始图像 X 和对抗图像 X0 划分为大小相同的非重叠图块 h × w（称为超像素）。当 h = 2 和 w = 2 时，超像素由一组四个相邻像素组成）

考虑一种对抗性扰动，其中对抗性扰动的像素值在每个超像素上平滑。由于平滑，这种对抗性扰动中包含的信息量可以减少到 1 h×w ，这对于嵌入 RDH 来说足够小。

后平滑超像素对抗样本生成：以任意方式生成对抗仰恩，计算每个超像素中所有像素的对抗性扰动的均值，四舍五入得到最接近的整数0~255，过程中会导致上/下溢像素值（精确恢复时需要截断 变换）。缺点是对抗性扰动在优化完成后被平滑，会降低攻击成功率。所以引入了in-the-loop smoothing super-pixel adversarial attack method,成本高，但是有效

• 结论

作者分别在白盒和黑盒上做了实验，白盒效果不错，黑盒的话，需要后续引入提高迁移性的技术，还可以通过改进可逆数据隐藏算法或使用更高效的加密方案来减少黑盒设置中的攻击能力下降，以减少可逆数据隐藏需要嵌入的信息。

在本文中，我们提出了可逆的对抗性示例来控制人工智能如何识别和使用用户的数据。用户指定的 AI 可以从 RAE 中准确恢复原始图像，而其他 AI 无法正确识别 RAE。本文提出了RAE的概念，并给出了第一个原型框架来验证其可行性。该方法结合对抗样本、可逆数据隐藏和加密来实现RAE。实验表明，所提出的方法可以实现与相应的对抗性攻击方法相当的攻击能力和与原始图像相似的视觉质量。但是，有恶意的攻击者可能会使用 RAE 来攻击 AI。由于 RAE 是一种对抗性示例，它可能具有与对抗性示例类似的潜在负面社会影响。因此，RAE 也将对安全和安保关键应用程序构成潜在威胁。为了应对 RAE 的潜在威胁，可以采用对抗性防御方法作为保护深度神经网络的对策。未来，我们将进一步研究如何在黑盒设置下提高 RAE 的攻击能力。

三、《Reversible visual transformation via exploring the correlations within color images》

通过探索彩色图像内的相关性实现可逆的视觉转换

• 摘要：

可逆视觉变换将秘密图像可逆地变换为自由选择的目标图像并得到与目标图像相似的伪装图像，已被证明在图像隐私保护和加密图像中的可逆数据隐藏这两种应用中非常有用。本文通过探索和利用三个颜色通道之间以及每个颜色通道内部的相关性，提出了一种in的彩色图像可逆变换技术。用于记录变换参数的辅助信息量大大减少。因此，通过将秘密图像和目标图像分成更小的块进行转换，可以大大提高创建的伪装图像的视觉质量。

• introduction

基于RVT（可逆视觉变换 reversible visual transformation）的方法——通过采用可逆的方法将秘密图像转换为自由选择的目标图像。在移位变换之前，利用非均匀聚类算法对秘密块和目标块进行匹配，大大减少了记录秘密块索引的辅助信息，实现伪装图像的质量提高以及无损恢复。

RVT是对RGB分别进行了变换，没有探索和利用三个颜色通道之间和每个颜色通道内部的相关性。

本文首先根据每个块的均值为其分配一个均值类索引，并且这些均值类索引之间的相关性很高，然后探索转换参数内的相关性以压缩它们。因此用于恢复的AAI（amount of accessorial information，辅助信息量）大大降低，通过将秘密图像和目标图像划分为更小的块并将秘密块转换为相应的目标块以及一种改进的移位变换来提高伪装图像的视觉质量。

实现RVT的直接方法是压缩秘密图像并将压缩的比特流嵌入到目标图像中，通过最低有效位（LSB）替换的方法创建伪装图像。如果秘密图像足够平滑并且可以有效地压缩，那么它的压缩比特流就会很小。那么通过这种LSB方法可以很好地实现RVT，伪装图像也会很好。然而，即使有时 LSB 方法生成的伪装图像质量尚可，但由于比特流不规则，生成的伪装图像内部的相关性相对较弱，这会给该伪装图像进一步进行 RDH 处理带来困难。

• 方法

 

（这一部分没看懂，等我后续来补充） 

 

• 实验验证

我们可以先用JPEG2000压缩器压缩秘密图像，然后用LSB的方法将压缩后的码流嵌入到目标图像中，生成伪装图像。然而，即使使用 JPEG2000，一些图像仍然不能很好地压缩。例如，图 10(a) 的 JPEG2000 压缩比特流对于每个目标像素达到 5.87 比特。因此，由 LSB 方法创建的图 10(c) 仍然比由本方法创建的图 10(d) 差。如前所述，在伪装图像中进行 RDH 是一种用于加密图像中的 RDH 的新框架。更清晰的主机直方图将在相同的失真约束下容纳更高的容量，这将更适合进一步的 RDH

 

• 多轮转换 

2轮变换中，发送者首先将秘密图像A转换为目标图像B，分别用方法[9]和提出的方法得到单层伪装图像BH和BP。然后发送者将 BH 和 BP 转换为他们的目标图像 C，分别得到两层伪装图像 CH 和 CP。在接收端，接收端会先从两层伪装图像中还原出一层伪装图像，再从一层伪装图像中还原出秘密图像。尽管在本小节中，所提出的方法的块大小与RVT方法 的块大小相同，但所提出的方法创建的伪装图像 BP 优于RVT方法 创建的伪装图像 BH。事实上，BP 和 BH 的相应变换图像具有相似的质量，但 BP 优于 BH，因为所提出的方法辅助信息较少，辅助信息越少，变换图像的失真就越小。

• 结论

通过探索和利用彩色图像中的相关性，提出了一种新的彩色图像 RVT 技术。因此，用于恢复每个秘密块的 AAI 大大减少，通过设置更小的块大小，我们大大提高了伪装图像的质量。在 RVT 方案中，RDH 方案需要将辅助信息嵌入到变换后的图像中。从上面的例子可以看出，有时RDH方案会极大地破坏变换图像的质量，因此需要一个好的RDH方法。由于生成的变换图像是 RGB 颜色格式，因此采用的灰度图像 RDH 方案不适合。尽管已经提出了一些用于彩色图像的 RDH 技术 ，但它们的容量对于 RVT 方案是有限的。未来，我们将尝试为RVT方案设计新的RDH技术，不断提高终极迷彩图像的视觉质量。