Generating steganographic images via adversarialtraining

摘要

    在这篇论文中我们将对抗训练技术应用于学习隐写算法的判别任务。我们证明了对抗训练可以生成健壮的隐写技术：我们的无监督学习方案生成了一种隐写算法，与最先进的隐写技术竞争。我们同样证明了，我们的对抗模型的监督训练生成了一个鲁棒性强的隐写分析器，能够执行判断图像是否包含秘密信息的判别任务。

介绍

    隐写术和密码学都提供了秘密通信的方法。通信的真实性和完整性是现代密码学的中心目标。然而，传统的加密方案并不旨在隐藏秘密通信的存在。隐写术通过将信息嵌入对手认为不可疑的通信中来隐藏信息的存在。最近大规模监控项目的细节表明，通信的元数据可能导致毁灭性的隐私泄露，隐藏内容和消息的存在对于隐私敏感的通信是必要的。

    在设计隐写算法时付出了大量的努力，这些算法可以最大限度地减少隐藏消息中嵌入秘密消息时的扰动，同时允许恢复秘密消息。在这项工作中我们考虑是否可以在没有专业知识的情况下，用无监督的方式来学习隐写算法。

    对于隐写技术的无监督设计，我们利用了对抗性训练领域的思想。我们的任务是判别性的，嵌入算法获取封面图像并生成隐写图像，而对手则试图学习嵌入算法的弱点，从而能够区分封面图像和隐写图像。

    在本文中，我们通过一种新的对抗性训练方案，介绍了第一个完全以无监督方式产生的隐写算法。我们表明，我们的方案可以成功地在通信双方之间的实践中实现，并且通过监督训练，隐写分析器Eve可以与最先进的隐写分析方法相竞争。据我们所知，这是除了传统的对抗性学习应用(如图像生成任务)之外，对抗性训练的第一个实际应用之一。

2 相关工作

2.1 对抗学习

    对抗性训练也被应用于隐写术，但与我们的方案不同。然而，我们试图训练一个模型，学习隐写技术本身。Volkhonskiy等人的工作增强了原始GAN过程，以生成更容易受到已建立的隐写算法影响的图像。除了普通的GAN鉴别器之外，他们还引入了一个隐写分析器，用于接收来自生成器的示例，这些示例可能包含也可能不包含秘密消息。生成器通过欺骗GAN的鉴别器来学习生成逼真的图像，通过欺骗隐写分析器来学习成为安全容器。然而，他们没有衡量性能与最先进的隐写技术，使其难以估计其方案的鲁棒性。

2.2 隐写术

    隐写术的研究可以分为两个子领域:隐写算法的研究和隐写分析器的研究。隐写算法的研究主要集中在寻找在媒介中嵌入秘密信息的方法，同时将对该媒介的扰动降到最小。隐写分析研究试图寻找检测这种干扰的方法。隐写分析是一项二元分类任务:发现消息中是否存在秘密信息，因此机器学习分类器通常用作隐写分析器。

    最低有效位(LSB)是一种简单的隐写算法，用于在封面图像中嵌入秘密信息。图像中的每个像素由三个RGB颜色通道组成(对于灰度图像则是一个)，每个颜色通道由若干位表示。通常用8位二进制序列表示灰度图像中的一个像素。然后，LSB技术用秘密信息的比特替换封面图像中最不重要的比特。通过只处理封面图像中最不重要的部分，原始图像的颜色变化被最小化。然而，当使用LSB技术时，原始图像中的信息总是会丢失，并且容易被隐写分析检测出来。

    大多数图像隐写方案使用失真函数，使得嵌入过程局限于图像中被认为有噪声或难以建模的部分。先进的隐写算法试图最小化封面图像和隐写图像之间的失真函数，

    它是函数f的选择，即改变一个像素的代价，在不同的隐写算法中失真函数是不同的。 

    HUGO被认为是最安全的隐写技术之一。它通过根据在像素内嵌入一些信息的效果将成本分配给像素来定义失真函数域，使用加权范数函数将像素空间压缩为特征空间。 WOW（小波获得权重）是另一种先进的隐写方法，它根据复杂性区域将信息嵌入到封面图像中。如果图像的某个区域在纹理上比另一个区域更复杂，则该区域内的像素值将被修改更多。最后，S-UNIWARD提出了一种与嵌入域无关的通用失真函数。然而，最终目标大致相同：最小化这种失真函数，并将信息嵌入噪声区域或复杂纹理中，避免覆盖图像的平滑区域。

3 隐写对抗训练

3.1 学习目标

    模型主要包括三个子网络，代表Alice、Bob和Eve三方，如上图所示，Alice被训练生成隐写图像，将秘密信息隐写在图像中传送给Bob，Bob要从收到的图像中提取出秘密信息，Eve(隐写分析器)窃取了图像并试图分析图像中是否包含秘密信息。

 

    我们将 Bob 的损失（秘密消息重建损失）设置为  和  之间的欧几里得距离，将 Eve 的损失设置为 sigmoid 交叉熵损失，Alice 的损失由 Bob 的损失、Eve 的隐写图像损失和附加的重建损失项的加权和给出。

 

    我们的目标不仅是探索神经网络是否能够以无监督的方式生成隐写嵌入算法，而且还在于它们是否与隐写专家设计的 HUGO、WOW 和 S-UNIWARD 等隐写算法具有竞争力。我们并不打算在神经网络中编码特定的算法，而是希望让网络有机会设计自己的算法。

3.2 架构

    Alice（隐写编码器）: Alice 接受封面图像和随机 n 位二进制消息作为输入。封面图像被展平并与秘密消息连接，然后将其输入神经网络。我们希望嵌入过程的局部性能够被学习而不是固定；第一层与下一层完全连接，允许秘密消息与封面图像的任何区域结合。然后我们将形状重塑为 4 × 4 × ·8，其中  是封面图像的宽度。接下来的四层中的每一层都是一系列上采样分数步长卷积、批量归一化和 ReLU，除了最后一层使用 tanh作为激活函数。

    Bob（隐写解码器）: Bob 接受收 Alice 输出的隐写图像作为输入。Bob 使用深度卷积架构从 Alice 的输出中提取重要位。它由四个分数步长卷积和一个最终全连接层组成。 Leaky ReLU 用于除最后一层之外的所有层，其中使用 tanh。批量归一化应用于每一层。

    Eve（隐写分析器）: Eve 接受封面图像和隐写图像作为输入。 Eve 具有与 Bob 类似的架构，但在最后一层使用 sigmoid 激活函数而不是 tanh 来输出 logits 的概率。

4 实验

    我们在两个图像数据集上实施了对抗性训练方案：野外名人面孔 (celebA)和标准隐写术研究数据集 BOSS2。我们将一个n位随机消息与每个数据集的每个样本连接起来。我们改变信息的大小n，以测试可以有效隐藏在封面图像中的信息量的极限。这对应于隐写算法可以隐藏的每像素比特数(bpp)，这是隐写研究成功的常见衡量标准。平均而言，隐写算法可以成功地隐藏大约0.4bpp。我们的数据集由32 × 32像素的图像组成，因此我们将n从100变化到400，这相当于隐藏在大约0.1bpp到0.4bpp之间。我们有意将秘密消息随机化，这样网络就不会学习与特定消息组相关的特定功能。我们希望确保我们的模型可以推广到任何小于n位3的消息。

4.1 CelebA 数据集

    我们改变嵌入秘密消息的大小，以探索封面图像中最多可以存储多少位秘密信息，同时不被隐写分析器检测到。正如预期的那样，我们发现封面图像中的较大扰动会导致更多的通信位，但会带来更大的检测风险。

    图 2b 和图 2c 显示了 Alice 经过 150 个训练步骤后输出的隐写图像，嵌入率为 0.1bpp 和 0.4bpp。我们的方案可以轻松应对 32 × 32 图像的 0.1bpp 嵌入率，这相当于传达一条简短的 12 个字符 ASCII 消息。在 0.1bpp 和 0.4bpp 之间，图像质量没有明显下降，但我们发现在 0.4bpp 之后，图像质量受到影响。

     图 3a 和图 3c 分别显示了每个模型的训练损失，以及 Bob 随着时间的推移成功解码秘密消息的情况。在前几轮训练中，Alice 输出的视觉质量较低，Bob 本质上是随机猜测消息。经过大约 30 个步骤后，Alice 学会了成功地将信息嵌入到封面图像中，这样 Eve 就被欺骗了，而 Bob 学会了正确解码该消息。经过 150 个训练步骤后，Bob 解码消息的平均成功率为 100%，而 Eve 的损失保持不变。图 3b 和图 3d 显示了类似的结果，训练结束时样本质量和解码成功率都很高。隐藏 0.4bpp 对应于成功隐藏 51 个 ASCII 字符的消息。

4.2 BOSS数据集

    图 4b 显示了嵌入率为 0.1bpp 的隐写图像的样本质量，而图 4c 和图 4d 分别显示了 Alice、Bob 和 Eve 的错误率以及 Bob 成功解码秘密消息的情况。虽然图像质量比 celebA 数据集稍稍受到影响，但我们的方案仍然能够学习隐写算法。我们的方案输出的样本与原始数据集没有什么太大区别，而 Bob 能够学习成功解码消息。 Alice和Bob都在相对较短的时间内学习了各自的任务，之后在隐藏或恢复秘密消息方面并没有太大的改进。训练结束时，Bob 能够以 99.8% 的准确率成功解码秘密消息。

4.3 

    对于 BOSS 和 CelebA，我们将我们的方案与隐写算法 HUGO、WOW 和 S-UNIWARD 进行比较。此外，我们使用监督训练来实现 Eve 模型，并与表 1 中的隐写分析器 ATS 进行比较。按照设计，Eve 的性能仅比随机模型稍好。通过以监督方式训练 Eve，我们表明 Eve 有能力成为强大的隐写分析器，与 ATS 等现有技术竞争，因此是隐写分析器的不错选择。此外，Eve 不需要像 ATS 那样的特征提取预处理步骤，而且根据我们的实验，训练速度要快一个数量级。对于每种隐写算法，我们在相关训练集上训练 ATS 和 Eve，然后报告隐写分析器在测试集上的准确性。从表 1 中可以看出，Eve 在与隐写分析器、ATS 的竞争中表现出色，而 Alice 在与其他隐写技术的竞争中也表现良好。虽然我们的方案并没有对当前流行的隐写方法进行实质性改进，但很明显，它的性能并没有明显变差，而且无监督训练方法能够与专家领域知识竞争。

 4.4 评估鲁棒性

    由于训练方案中模型的非凸性，我们不能保证对同一图像进行训练的两个独立方将收敛到相同的模型权重，从而学习相同的嵌入和解码算法。因此，在隐写通信之前，我们要求通信双方之一在本地训练该方案，加密模型信息并将其与有关训练图像集的信息一起传递给另一方。这确保双方学习相同的模型权重。为了验证我们想法的实用性，我们在本地（机器 A）训练了该方案，然后将模型信息发送到另一个工作站（机器 B）来重建学习的模型。然后，我们将由 Alice 模型嵌入的隐写图像从机器 A 传递到机器 B，机器 B 使用 Bob 模型来恢复秘密消息。使用相当于隐藏 0.1bpp 长度的消息，并随机选择 CelebA 数据集的 10%，经过 100 多次试验，机器 B 能够恢复机器 A 发送的消息的 99.1%；我们的方案可以成功地从隐写图像中解码秘密的加密消息。如果加密模式可以容忍错误，则隐写消息的接收者可以成功解码和解密秘密消息。

5 讨论与总结

    我们提供了大量证据证明我们的假设是正确的，并且机器学习可以有效地用于隐写分析和隐写算法设计。特别是，它与使用基于人类的规则的设计具有竞争力。通过利用对抗性训练游戏，我们确认神经网络能够发现隐写算法，而且这些隐写算法与最先进的技术相比表现良好。我们的方案不需要设计隐写方案的领域知识。我们将攻击者建模为另一个神经网络，并表明该攻击者具有足够的表达能力，可以在最先进的隐写分析器上表现良好。