针对图像修复的对抗攻击——Markpainting: Adversarial Machine Learning meets Inpainting

针对图像修复的对抗攻击——Markpainting: Adversarial Machine Learning meets Inpainting

这篇论文是arxiv收录的论文。
https://arxiv.org/abs/2106.00660
warning：最好看原文，本文我其实也没有看太明白

Inpainting是图像修复技术，基于基于生成模型的学习的插值技术。也就是其实这里论文的Inpainting是基于NN（神经网络）的。
众所周知。NN并不靠谱，懂王特朗普就曾经发表过相关的见解：

所以，根据Inpainting的原理就可以对其进行攻击。
在输入图像中添加较小的扰动，就可以迫使Inpainting模型生成任意的补丁。

忘了说本文的主要动机，也就是本文做的是什么事情。
有人使用Inpaining技术，来去除图像中的水印。主要做法应该就是去除水印部分然后做一个Inpainting。所以本文的训练过程也是利用了掩膜mask的。
这里是将目标图像设置为原始图像，使得图像对去除水印具有鲁棒性。

一个基本的想法就是：图像修复（或者说重构也行）是基于什么信息？是否只要修改这部分信息（具体实现是通过对抗攻击的原理，在小扰动中编码信息），就能够实现水印的不可去除。

具体的做法也是这样。
原始图片作为target。输入图像和mask输入Infill Model，输出一个结果。result与target计算损失，反向传播生成一个perturbation。然后就是迭代更新生成一个好的扰动。

给定输入图像I，mask M； target T（也就是原图。）还有扰动的步长，迭代次数t，目标模型。
根据损失，迭代更新。
损失的目的是最小化两个图像之间的VGG内部的高层语义信息，还有就是图像本身的相似度。感觉本文的公式有一点点问题。

懒癌发作

然后就是损失。

还有一个改进。就是随机mask。

就酱紫