文章来源MM '21: Proceedings of the 29th ACM International Conference on Multimedia
提出问题:传统的编码器-噪声层-解码器不能很好的确保JPEG压缩的鲁棒性,JPEG是非差分(不可微)的且是图像处理不可避免的曹组。
解决问题:提出利用Mini-Batch of Real and Simulated JPEG compression (MBRS)来增强JPEG鲁棒性。具体的说,(1)对于不同的小批量,我们随机选择真实JPEG、模拟JPEG和无噪声层中的一个作为噪声层。(2)在嵌入和提取阶段利用挤压-激励网络来更好的学习频域特征,并提出“信息处理器”来扩展信息。(3)在网络中加入diffusion块和反diffusion块来增强抵抗crop攻击的鲁棒性。
左上图显示的是带有差分模拟 JPEG 压缩(OEDS)的单阶段端到端训练方法,其中编码器和解码器通过模拟噪声层进行联合训练。左下图显示提出的两阶段可分离式真实 JPEG 压缩框架(TSR),其中第一阶段编码器和解码器在无噪声的情况下共同训练,第二阶段解码器在真实 JPEG 噪声的情况下单独训练。(前两种方法效果不好,怀疑是找到了局部最优解而非全局最优解)右图是本文迷你批次真实和模拟 JPEG 压缩(MBRS)方法,它在每个迷你批次中随机改变模拟 JPEG、真实 JPEG 和无噪声(称为 Identity)层的噪声层。
不同的迷你批次可以训练不同目的的模型:1)真实 JPEG 帮助解码器获得 JPEG 压缩下的鲁棒性;2)模拟 JPEG 联合训练编码器和解码器;3)无噪声层确保不压缩的解码能力。每个小批次中噪声层的频繁切换有助于模型在不同方向上搜索解,从而保证整个任务的最优解。虽然在某些批次中采用非差分真实 JPEG 进行端到端训练,但我们可以使用基于时刻更新的优化方法来确保整个更新方向的正确性。
模型架构及各输入输出:(1)Message Processor MP(参数),输入长度为L的二进制秘密消息