SepMark水印论文阅读与复现

论文名称：SepMark: Deep Separable Watermarking for Unified Source Tracing and Deepfake Detection 发表在去年的ACM MM上

代码：GitHub - sh1newu/SepMark: SepMark: Deep Separable Watermarking for Unified Source Tracing and Deepfake Detection

Discrimination部分代码需要自己补齐，例如simswap、roop、faceswap等

这是一篇高质量的Deepfake主动防御论文，实验结果也非常理想。作者的思路是在原始图像中添加一个水印，然后训练两个decoder分别提取两种水印结果：鲁棒水印和半脆弱水印。通过半脆弱水印验证原始图像有没有被Deepfake（例如Faceswap、GAN属性编辑等）篡改，通过鲁棒水印溯源图像来源。下面就是作者的流程图：

作者基于这样的现实场景进行创新：即鲁棒水印在一般的Deepfake之后仍能保持较高提取准确率（前提需要在特定的噪声层下训练），这样的话很难判断我拥有的究竟是原始图像还是Deepfake图像（因为都能提取水印）。这时我们是不是可以不让这个水印具有Deepfake的鲁棒性，也就是不在这个噪声层下训练，但是这样的话就只能做到版权判断，不能做到原始图像溯源。

因此作者就想设计两种水印，鲁棒水印在所有的噪声层中训练，在图像被Deepfake之后仍能保持，用来溯源；半脆弱水印只在一般物理攻击上训练（例如JPEG压缩、高斯噪声等），不在Deepfake攻击上训练，这样的话半脆弱水印就不会对Deepfake鲁棒，就可以用来判断图像是否被Deepfake。

我觉得这个思路真的很巧妙，充分利用了水印只对特定训练噪声层具有鲁棒性的特点。而且作者的网络设计也独具创新，理论上是两种水印：鲁棒水印和半脆弱水印，但实际中二者是同一种，只是用不同的Decoder提取。

从上图可以看到作为鲁棒水印提取器的Tracer网络和作为半脆弱水印提取器的Detector网络结构是相同的，只是参数不同，这样的话就达到了提取两种水印的目标。图中的第一个噪声图像 I（黄色）是经过全噪声层（物理+Deepfake）的图像，用来训练鲁棒水印的提取器，第二个图像 I（蓝色）是经过物理噪声攻击的图像，让半脆弱水印可以抵抗这些物理攻击，第三个图像 I（紫色）是Deepfake攻击，通过损失函数让提取消息与嵌入消息不同达到半脆弱的目标。

复现：作者开源了代码，Bug并不多，只需要把噪声层中的几个Deepfake的方法补充完整即可，可能Simswap的模型需要根据自己的pytorch版本换一下，复现结果基本和论文保持一致。

作者提供的预训练模型中，物理噪声层是常用的攻击，Deepfake攻击训练了SimSwap（换脸）、GANimation（表情改变）、StarGAN（属性编辑）三种噪声层。

攻击一：SimSwap（训练时见过的面部重建类型Deepfake）

测试了800张图像，鲁棒水印误码率平均为7%，半脆弱水印误码率平均为45%，达到随机解码效果，可见两种水印对于Deepfake攻击都达到了目标效果。

下图第一行：原始图像、第二行：水印图像、第三行：攻击/篡改图像、第四行：水印图像-原始图像（绝对值）、第五行：攻击图像-水印图像（绝对值）

攻击二：GANimation（训练时见过的属性编辑类型Deepfake）

同样测试了800张图像，鲁棒水印误码率平均为0%，半脆弱水印误码率平均为47%，达到随机解码效果，可见两种水印对于Deepfake攻击都达到了目标效果。属性编辑类型Deepfake与换脸类型相比对鲁棒水印破坏更小。

攻击三：亮度调整（训练时见过的物理攻击）

同样测试了800张图像，鲁棒水印误码率平均为0%，半脆弱水印误码率平均为0%，说明半脆弱水印对物理攻击是鲁棒的。

攻击四：MobileFaceSwap（训练时未见的换脸攻击）

同样测试了800张图像，鲁棒水印误码率平均为0%，半脆弱水印误码率平均为0%，说明半脆弱水印此时无效，因为此时需要它保持脆弱性。

通过实验还可以发现，对于属性编辑类型（例如发色改变、年龄、标签改变等）的Deepfake攻击，鲁棒水印基本可以百分百保持；但是经过面部重建类型（例如Faceswap、Simswap）的Deepfake攻击之后，即使提取器之前在噪声层中经过这些攻击的训练，提取准确率仍会下降较大，可以理解为：重建程度越高，破坏程度越高，水印保持越低。