信息隐藏|RoSteALS: Robust Steganography using Autoencoder Latent Space

来自2023CVPR

提出问题:现有的方法往往因为保证图像质量和对扰动的鲁棒性而导致训练过于复杂。

解决问题：提出RoSteALS，利用冻结预训练的编码器，使嵌入有效载荷的时候可以免于学习载体图像的分布。（一种训练简单的轻量网络）

技术贡献有三：

（1）隐写嵌入。一种新方法直接将秘密注入到锁定的编码器的潜在代码中，实现了有限的训练和非内容专门化的鲁棒水印。本文的秘密编码器尺寸很小而且易于训练，泛化性远超出训练数据，并且可以适应目前最先进的自动编码器。（秘密信息编码器很轻量化，300k个参数，容易训练）

（2）稳健的秘密恢复。本文嵌入方法可以承受严重的图像扰动，这对于鲁棒地保持通过在线发布的内容的情况尤为重要。（网络在线发布对图像扰动很大，感觉可以理解为适用于OSN背景）

（3）无载体隐写。RoSteALS可以很容易地适应无载体隐写（就是说载体图像是在隐藏秘密的过程中被合成）。通过RoSteALS，将无覆盖隐写术的思想扩展到自动编码器的潜在空间。目标是生成可以唯一代表秘密的潜在偏移量。给定一个自编码器，可以将学习到的偏移量加入到该自编码器的任何随机潜在代码（使用扩散模型的图像或者文本生成的）中，使得自编码器可以产生隐写图像。（可以适用于新的无载体隐写的应用，载体图像可以通过去噪扩散过程从噪声或者文本提示中被采样）

作为深度学习方法的特别之处：以往工作大多将秘密和载体联合编码，与这些技术不同的是，本文使用固定的预训练自编码器并训练一个简单的非常小的编码网络来将秘密映射到独立于载体图像的自编码器潜在空间。（采用冻结训练策略）

作为无载体隐写的特别之处：其他GAN相关研究将指纹形式的秘密注入到训练数据或模型参数中，使训练模型始终生成包含该指纹的图像。与此相反，本文给定一个自动编码器，学习每个秘密的唯一偏移量，可以独立的应用于该自动编码器的任何潜在代码。（非内容专门化）

一些探索工作：预训练的自编码器VQGAN具有隐写能力吗？

RoSteALS的隐写工作：

通过冻结的{E,G}，对图像的分布有了先验知识，现在目的是学习一个秘密编码器F，将秘密s∈映射到图像潜在嵌入。

F是个非常小的网络，是一个全连接层+SiLU，然后reshape和rescale与z的维度匹配最后1*1卷积。F的输出δ作为一个小偏移量被添加到z。隐写图像被使用重构，并使用像素和感知损失组合调节。

使用ResNet50作为秘密信息解码器D,替换其最后一个全连接层输出L位秘密信息。

使用BCE计算恢复秘密与原始秘密之间的比特恢复损失。

β控制隐写图像质量和秘密信息恢复率之间的权衡。

鲁棒性的训练:在图像编码器G和秘密解码器D之间加入了噪声模型。使用了来自ImageNet-C的14个噪声源。（ImageNet-C库常用来评估模型鲁棒性）这些噪声可以分为3组：大多数加性噪声和线性噪声（亮度、饱和度、对比度）；通过可微变换近似模拟的（jpeg压缩）；不可微的（spatter）。为了确保梯度可以传回上一层，通过n(x)=x+[n(x)-x]将任一不可微噪声n(.)转换为加性噪声，其中，[.]视为一个加性恒量。此外，以一定的比例（p=0.5）应用多个常见噪声（对比度，亮度，jpeg压缩）和随机的单个噪声。这使得秘密解码器可以在各种数据增强下训练，并且可以反向传播更新编码器。

数据集：MIRFlickR数据集100K训练，1K验证。在三个基准上评估，CLIC、Met-Face和Stock 1K（自己在stock上收集的1K）。使用ImageNet-C对每个输出的stego进行随机干扰。

评价指标：对于评估隐写图像相对于原始载体图像的差异，使用PSNR、SSIM、感知相似度评分LPIPS、SIFID（Single Image Frechet Inception Distance）；对于秘密恢复评估，使用比特精度（Bit acc.）和Bit acc.（ECC）（使用BCH的循环纠错码位精度）；还计算单词级别的准确性：Word acc.(预测的秘密与真值对应位相差小于20%，认为匹配成功)；还报告了无噪声stego下的比特精度作为参考。注意除了Bit acc.(clean)其他指标都是基于噪声数据的。

这篇文章的复现问题可以参考另一博主的这篇博文经验：

【论文复现】RoSteALS: Robust Steganography using Autoencoder Latent Space-2023-CVPR-CSDN博客