论文阅读《SepMark: Deep Separable Watermarking for Unified Source Tracing and Deepfake Detection》

糖炒栗子要加糖

已于 2024-09-09 11:24:48 修改

阅读量710

点赞数 18

分类专栏： AIGC 文章标签：人工智能机器学习深度学习

于 2024-09-09 09:21:13 首次发布

本文链接：https://blog.csdn.net/2301_81845359/article/details/142043265

版权

AIGC 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

ACM MM 2023 湖南大学

论文题目：SepMark: Deep Separable Watermarking for Unified Source Tracing and Deepfake Detection（SepMark：统一溯源追踪与深伪检测的深度可分离水印）
原文链接：SepMark: Deep Separable Watermarking for Unified Source Tracing and Deepfake Detection | Proceedings of the 31st ACM International Conference on Multimedia
论文代码：code

一、论文主要内容

1.现存问题

本文的研究问题是如何提供一种主动的防御解决方案，以在可预见的篡改之前对原始人脸进行源追踪和Deepfake检测。

2.作者的目标是什么，已经实现了什么，还存在哪些局限

（1）目标

（2）作者已经实现的成果

提出了一种名为SepMark的深度可分离水印技术，它在当前深度水印研究中引入了新的范式。SepMark使用一个编码器和两个可分离的解码器，可以在不同的鲁棒性级别上提取水印。
设计了一种端到端的学习架构，包括单个编码器、鉴别器和两个可分离的解码器，通过从随机前向噪声池中采样不同类型的失真进行训练。
在人脸图像上进行了广泛的实验，证明了追踪器在多种失真情况下的高鲁棒性，以及探测器在恶意Deepfake失真下的选择性脆弱性。

3.研究方法/技术

研究方法/技术	介绍
对抗训练的方法	为了监督编码图像的视觉质量，采用对抗训练的方法。具体来说，即使用了一个额外的判别器（discriminator）来与主要的编码器-解码器交替训练。判别器使用了PatchGAN的结构，用于将每个图像块分类为原始图像还是编码图像。
使用RaLSGAN的GAN损失函数	提高训练的稳定性
编码器和解码器是基于深度学习的模型	编码器使用了一个卷积神经网络（CNN）架构，而解码器使用了一个反卷积神经网络（DeCNN）架构。这些网络模型被训练用于将输入图像编码为隐藏表示，并将隐藏表示解码为重构图像。
评估指标的综合使用	在评估编码图像的客观视觉质量时，SepMark使用了多个评估指标，包括PSNR、SSIM和LPIPS，以综合考虑图像的清晰度、结构相似性和感知质量。对于鲁棒性测试，使用BER作为评估指标，能够准确评估在不同篡改情况下的水印提取性能。

注：PSNR数值越高表示图像质量越好，SSIM数值越接近1表示图像质量越好，LPIPS数值越低表示图像质量越好。

4.方法/技术的创新点、关键要素

（1）创新点

提出了深度可分离水印技术SepMark，其中一个编码器嵌入水印，两个解码器可以在不同的鲁棒性水平上分别提取水印，这种深度可分离水印技术在源追踪和Deepfake检测方面提供了一个统一的框架。

（2）关键要素

单个编码器(Encoder)、鉴别器(采用PatchGAN结构)和两个可分离的解码器(Tracer、Detector)的端到端学习架构，以及从随机前向噪声池中采样不同类型的失真进行训练。其中，Tracer能够抵抗常见和恶意扭曲，而Detector则对恶意Deepfake扭曲具有选择性的敏感性。此外，损失函数和训练过程起到关键作用。

损失函数：SepMark使用多个损失函数来训练编码器、追踪器和检测器。这些损失函数包括对抗损失、重构损失和分类损失，以确保生成的编码图像具有良好的鲁棒性和可辨识性。
训练过程：SepMark的训练过程包括两个阶段。首先，编码器和追踪器被联合训练，以生成具有高鲁棒性的编码图像。然后，编码器和检测器被联合训练，以生成具有低鲁棒性但对恶意失真敏感的编码图像。

5.实验设计、对比方法

（1）实验设计

实验设计	具体内容
数据集	CelebA-HQ数据集	24183张图像用于训练，2993张用于验证，2824张用于测试
	CelebA测试集	19962张人脸图像
	COCO验证集	5000张常见物体图像
图像处理操作	SimSwap	人脸交换	用于交换的目标人脸是从CelebA的验证集中随机选择的
	GANimation	表情再现	用于重演的目标表情是从特定的驱动图像中随机选择的
	StarGAN	属性编辑	用于编辑的属性集包括性别、年龄、黑发、金发和棕发
图像大小（分辨率）	128 × 128, 256 × 256
评估指标	评估客观视觉质量	整个测试集中编码图像的平均PSNR、SSIM和LPIPS
	鲁棒性测试	平均比特错误率（BER）
有效性测试	与基准线的预训练模型进行比较	采用鲁棒性水印方法，如MBRS、CIN、PIMoG
		脆弱性水印方法FaceSigns
鲁棒性测试	SepMark在不同扭曲方式下的鲁棒性测试结果对比	Table2为常见扭曲图像的鲁棒性测试
		Table3为恶意扭曲图像的鲁棒性测试
	跨数据集在不同扭曲方式下的鲁棒性测试结果对比	Table8是数据集CelebA上的图像是在常见和恶意扭曲下的鲁棒性测试结果
		Table9是数据集COCO上的常见扭曲图像的鲁棒性测试结果
泛化能力测试	通过跨数据集对不同类型的扭曲和攻击进行评估	使用了CelebA数据集的测试集
		COCO数据集的验证集
消融实验	通过功能的影响来评估它们对整体性能的影响	调整嵌入的消息的范围（结果见Table4）
		改变训练顺序，逐步训练一个解码器，然后再训练另一个解码器的方式（结果见Table5）