Accepted as Poster at ACMMM 2021
原文链接：[2110.14196] From Image to Imuge: Immunized Image Generation (arxiv.org)
本文创新点：本文提出一种图像自恢复技术（Imuge）。
应用场景
用户在互联网上共享免疫图像，攻击者可以访问免疫图像并发起恶意篡改，图像接收方从互联网上下载被攻击的图像，并对篡改区域进行定位和图像恢复。
网络结构
编码器：生成免疫图像IM 。
攻击层：对免疫图像IM 攻击，生成攻击图像IA 。
验证网络：预测被攻击区域，生成掩码M，根据掩码生成矫正图像IV 。
解码器：修复矫正图像IV ，生成修复后的图像IR 。
Imuge 首先使用编码器 稍微修改原始图像 I 以生成免疫图像IM 。然后，攻击层 对IM 进行攻击，生成被攻击后的图像IA 。验证网络 接收到被攻击的图像，通过预测掩码 M（逐像素分类是否被篡改）来定位被篡改的区域。然后根据掩码M，去除IA 中被篡改的区域，生成矫正后的图像IV 。最后，将IV 输入到解码器 中进行修复，生成修复后的图像IR 。文中提到用任务解耦、渐进修复和局部特征共享来提高训练性能。
攻击层
攻击层的作用是强化整个网络，使得编码后的图像能够抵抗攻击。攻击层有五种良性攻击和两种恶意篡改。
良性攻击为：裁剪、缩放、JPEG 压缩、添加高斯噪声、高斯模糊；
恶意篡改为：区域替换、区域打乱；
在训练阶段，攻击层会均匀选择一种良性攻击和一种恶意篡改，
其中，MR 为掩码（1表示该像素被修改），Iirr 表示不相关的篡改，
Task Decoupling（任务解耦）
任务解耦就是验证网络和编码器同时训练，在训练编码器的时候直接提供被攻击的图像真实掩码图像IV,G 。
其中，IV,G 为被攻击的图像IA 真实掩码图像，
Progressive Recovery（渐进修复）
渐进修复主要借鉴了PG-GAN的思想，在第一阶段，恢复网络仅生成分辨率为原始图像116 的 图像，在后三个阶段，逐渐提升恢复图像的分辨率，并将上采样模块加入到整个流程中。
其中，ES 为编码，CS 为卷积，DS 为解码。
Local Feature Sharing（局部特征共享）
其中，FD,3 为解码器第三层的输出，FE,2 为编码器的第二层输出，MG,3 为M 的下采样版本。
FD,2 为解码器的第二层输入，Concat 代表通道级联。
损失函数
总体损失
tamper classification loss（篡改分类损失）
其中，M 为预测的掩码，MG 为真实掩码
重构损失
重构损失包含两个部分，一个是免疫图像IM ，另一个是修复图像IR 。
对抗损失
639
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
