图像隐写综述（适合小白入门，涉及基础知识、评价指标与前沿算法）

创作不易，点赞收藏，谢谢！如有交流需要，请关注微信公众号“笔名二十七画生”。

分享有趣知识的公众号

1.图像隐写基础知识

信息保护主要有两种手段：

1.加密技术,是直接对要保护的数据进行数学变换，并使得未授权方无法读取交换的秘密信息。

2.信息隐藏技术,则是将要隐藏的消息放在载体中，使得未授权方无法感知到载体的变化，并且无法读取隐藏的消息。

载体图像:嵌入秘密信息之前的原始图像

含密图像:嵌入秘密信息之后的图像

隐写和数字水印都是信息隐藏的技术，但它们的应用领域、目的和实现方式有一些不同。

面向隐蔽通信的隐写（行文存在性）：

目的：主要目的是在不引起注意的情况下隐藏信息，使其对外界不可察觉。隐写术通常用于隐蔽通信，即通过隐藏信息在媒体中传递秘密消息。

实现方式：通过在媒体载体中嵌入信息，例如在图像、音频、视频等文件中隐藏文本、图像或其他数据。这种技术的主要重点是保持嵌入后的媒体文件外观或内容的一致性，以免引起怀疑。

安全性：隐写术的安全性通常体现在信息是否能够被检测到。隐写术不一定提供数据完整性或认证，而主要侧重于信息的隐蔽性。

面向内容认证和内容保护的数字水印（鲁棒性）：

目标：

内容认证和保护： 数字水印的主要目标是实现内容认证、内容保护或版权保护。它通常被用于在媒体中嵌入信息，以验证内容的真实性或保护知识产权。

鲁棒性： 数字水印注重鲁棒性，即能够抵抗一些可能导致内容变形的操作，如压缩、裁剪、旋转等。

可见性：

可感知性： 数字水印通常是可感知的，但它的设计目标是使其在人类感知的范围内尽可能不可察觉。

提取：

同步性： 数字水印提取通常是同步的，需要原始数据或者特定的密钥。

应用场景：

知识产权保护： 数字水印广泛用于知识产权保护，例如图像、音频、视频的版权认证和保护。

图像隐写技术经典例子：

囚徒模型中,可以很好地阐述隐写术中各方的角色:Alice和Bob是监狱中不同牢房的犯人,他们之间的通信需要在狱警Eve的监视下完成;同时,Eve能够看见他们的通信内容.为了降低狱警Eve防范心的同时完成通信,隐写术孕育而生.Alice将想要传达的秘密信息进行隐写操作隐藏在载体当中,Bob则需要将含密载体中的秘密信息进行提取,狱警Eve时刻监视Alice和Bob的通信,一旦发现任何可疑信息就断绝双方通信。

LSB（least significant bit)

作为早期的隐写方法,LSB是一种基于图片最低有效位修改并储存信息的隐写方法.利用人眼对于色彩差异的不敏感性,将秘密信息通过一定的嵌入方法放入图片的最低有效位,从而将我们所需要隐藏的信息通过一定方法放入图片的最低有效位上.。图3是LSB类隐写流程图,可以看到,载体图像Lena(戴帽子的女人)在隐写前后并不存在明显的差距。

基本嵌入方法给出了隐写算法的优化的基础，然而这些方法只保持了载体的低阶的特征分布，难以构造合适的方法来保持载体的高阶特征分布。

基于深度学习的图像隐写的研究方向：

2.定量与定性评价指标

从以图藏文本、以图藏图２个方面分析基于深度学习的含密图像生成方法，相比于其他图像隐写方法，隐写内容更丰富，隐写容量更大。

以图藏文本含密图像生成方法

以图藏文本的图像隐写框架HayesGAN，首次用编码网络实现图片隐藏秘密信息．

1.秘密信息与载体图像共同输入给编码网络中，得到含密图像；

2.隐写分析网络，也相当于判别网络，对生成的含密图像和 原始载体图像做分析检测；

3.信息的接收方通过解码网络可以得到解密信息．

1.Hayes J, Danezis G. Generating steganographic images via adversarial training[J]. Advances in neural information processing systems, 2017, 30.无源码

在该网络结构中，秘密信息提取的准确率是衡量该类网络性能的重要指标，神经网络提取秘密信息不同于传统的信息嵌入与提取，网络的学习过程具有不可解释性，信息提取的过程不完全可控，如何设计提取网络的结构，控制训练过程以提高秘密信息恢复的准确率是修改网络结构的关键。因此如何保证生成的含密图像有效抵抗隐写分析检测，同时保证秘密信息提取的准确率，是该类图像隐写方法面临的重大挑战。

为了增加隐写的鲁棒性，提出 Hidden图像隐写方式，在网络训练的过程中加入了噪声层，模拟真实情景下含密图像传输过程中所遇到的噪声攻击、压缩等情况，将攻击后的图像放入解码网络中提取秘密信息．该网络考虑到含密图像的真实性、秘密信息提取的准确性、隐写的隐蔽性，进一步增强了 隐写的鲁棒性，为后续隐写方法提升鲁棒性提供了 思路。

编码器E接收秘密消息M和封面图像Ico作为输入（编码为比特串），并产生编码图像Ien。噪声层N使编码图像失真，产生噪声图像Ino。解码器网络接收编码图像并试图重建消息。第三个网络，对手，预测给定图像是否包含编码信息。编码器和解码器被联合训练以最小化由对手检测到的来自封面和编码图像之间的差异的损失LI、来自输入和预测消息之间的差异的损失LM以及来自对手检测编码图像Ien的损失LG。

2.Zhu J, Kaplan R, Johnson J, et al. Hidden: Hiding data with deep networks[C]//Proceedings of the European conference on computer vision (ECCV). 2018: 657-672.

https://github.com/ando-khachatryan/HiDDeN

为进一步增大隐写容量，提出 SteganoGAN隐写模型，使用密集连接来缓解梯度消失问题，在训练中使用多个损失函数来同时优化我们的解码器和评估网络。SteganoGAN成功地将任意数据嵌入到从各种自然场景中提取的图像中，同时隐藏信息可以避开标准检测工具。

1.编码器：使用载体图像和数据tensor或 message，产生隐写图像

2.解码器：从隐写图像中恢复数据（二进制信息）

3.评估器：评估载体图像和隐写图像的质量（交叉熵解码的准确度、均方差评价相似性、评估器评价隐写图像真实性）

为编码器主要用于将二进制信息M嵌入被隐写图像C形成隐写图像S，三种变体编码器都具有的操作：

（b）在得到张量b后再经过两个卷积层，将维度为( 32 , W , H ) 张量b 处理为维度为( 3 , W , H ) 的隐写图像

（c）通过在其输出中添加被隐写图像C来修改基本编码器，以便编码器学习生成残差图像

（d）在卷积块之间引入额外连接，以便将较早生成的特征映射连接到由较晚块生成的特征映射，该种编码器的设计灵感来自DenseNet，该网络已被证明可以通过特征重用减轻梯度消失的问题

以图藏图含密图像生成方法

1.Baluja S. Hiding images in plain sight: Deep steganography[J]. Advances in neural information processing systems, 2017, 30.

https://github.com/krishvishal/DeepSteganography

2017, 首次提出以图藏图的隐写模型，实现了在彩色图像中隐藏彩色图像．所提出的网络模型包括预处理网络、编码网络和解码网络．

1.预处理网络将秘密图像变换为载体图像的大小，将基于色彩的像素转化为利于编码的特征；

2.秘密图像与载体图像经过编码网络得到含密图像，在视觉上与载体图像没有差异；

3.解码网络将从含密图像中提取秘密图像．

彩图藏灰度图的图像隐写方法

1.Zhang R, Dong S, Liu J. Invisible steganography via generative adversarial networks[J]. Multimedia tools and applications, 2019, 78: 8559-8575.无源码

ISGAN模型：

1.将彩色载体图像分解为3通道 U／V／Y，其中通道 Ｕ／Ｖ 包含图像的色度信号，Ｙ 通道包含图像的亮度信号，2. 将代表秘密图像的灰度图像与载体图像的Ｙ通道进行通道堆叠（利用人眼对亮度信息不敏感的特性），通过编码网络得到Ｙ通道的含密图像，与 Ｕ／Ｖ通道结合得到彩色的含密图像。

1.将Cover图像将分为YCrCb通道，只在图像的Y通道中嵌入秘密图像，送入编码器。生成含有secret信息的Y；通道信息。将其还原为彩色图像，与cover图像计算损失。（图像的表示有RGB,YUV等）；

2.引入对抗生成网络，增强图像的安全性，通过最小化隐写图像和自然图像之间的概率分布；

3.从Y通道中提取secret信息的解码器。

3.图像隐写前沿算法

1.Jing J, Deng X, Xu M, et al. HiNet: deep image hiding by invertible network[C]//Proceedings of the IEEE/CVF international conference on computer vision. 2021: 4733-4742.https://github.com/TomTomTommi/HiNet

容量、不可见性和安全性是图像隐藏的三大挑战。文章提出一种基于可逆神经网络 (INN) 的框架 HiNet，以同时克服图像隐藏中的三个挑战。

1.对于大容量的图像，提出一种同时学习图像隐藏和揭示过程的可逆学习机制。该方法能够实现将全尺寸秘密图像隐藏到相同尺寸的覆盖图像中。

2.为了提高不可见性，提出在小波域中隐藏秘密信息，而不是像素域隐藏。

3.提出了一种新的低频小波损耗来约束秘密信息被隐藏在高频小波子带中，大大提高了隐藏的安全性。

隐藏网络将秘密图像 xsecret隐藏成覆盖图像来生成一个隐写图像xstego；

揭示网络恢复从 xstego恢复秘密图像，隐藏和揭示网络有两种参数。

这种松弛连接（loose connection）可能会导致颜色失真和纹理复用效应。此外，这些方法几乎不考虑安全问题，使得隐藏的秘密信息很容易被发现。

如图 (b) 所示。文章是第一次尝试探索可逆网络在图像隐藏任务中的应用。其主要新颖之处在于，在一个可逆的网络结构中，将图像显式建模为图像隐藏的反向过程，这意味着只需对网络进行一次训练，就可以得到隐藏和揭示的所有网络参数。

前向隐藏过程：

输入为秘密图像 xsecret 和覆盖图像 xcover 。

1.通过离散小波变换(DWT) 将其分解为低、高频小波子带；

2.将其输入到隐藏块序列中；

3.隐藏块的输出经过逆小波变换(IWT) 块来生成一个隐写图像 xstego, 和一起失去的信息 r。

逆向揭示过程：

隐藏图像 xstego 和一个辅助变量 z 通过 DWT 和一系列揭示模块恢复秘密图像 xsecret。注意，在HiNet 中，揭示是隐藏的逆过程，因此它们共享相同的网络参数。

为什么要在小波域进行图像隐藏？

图像在像素域隐藏容易导致纹理复制伪影和颜色失真。

1.相对于像素域，频率域尤其是高频域更适合图像隐藏。本文采用小波变换在进入可逆模块之前，将图像分成低高频小波子带，使网络能够更好地将秘密信息融合到覆盖图像中。

2.小波具有良好的重构特性，有助于减少信息损失，提高图像隐藏性能。

3.DWT 后，size (B，C，H，W) 的 feature map 变为  (B，4C，H/2，W/2)。可以看到，DWT 可以降低计算成本，有助于加速训练过程。

4.注意小波变换是双向对称的，这意味着它不会影响网络的端到端训练。

前向传播过程

图中参数为任意函数，本文采用dense blocks来表示它们，因为它具有良好的表示能力。

在最后一个隐藏模块之后，可以得到输出然后将输出送入两个IWT 块，分别生成隐写图像和丢失信息r。

在隐藏过程中，网络试图将秘密图像隐藏到覆盖图像中。然而，如此大的容量很难隐藏在封面图像中，不可避免地导致秘密信息的丢失。另外，秘密图像的入侵可能会破坏封面图像中的原始信息。丢失的秘密信息和被破坏的掩护信息构成了丢失的信息r。r 被假定为个例无关的case- notistic。

输入是由隐写图像 和辅助变量 z 通过 DWT 生成的 隐写图像and 辅助变量z 。这里，z 是从高斯分布中随机抽样的。

在向后揭示中，恢复图像要求只从隐写图像中提取，而不访问 r。这实际上是一个不确定的问题，因为可以从同一个隐写图像中恢复数百万个恢复图像 。为了获得精确的 ，在反示过程中采用了一个辅助变量z。变量 z 是从一个 case-notistic分布中随机抽取的，该分布与r 的分布相同。

2.Kishore V, Chen X, Wang Y, et al. Fixed neural network steganography: Train the images, not the network[C]//International Conference on Learning Representations. 2021.

https://github.com/varshakishore/FNNS

encoder-decoder网络容量很大，但解码错误率很高（大约20%）。作者基于神经网络对输入的微小扰动的高度敏感性，提出一种新的隐写方法，能够在3bpp时降低解码错误率到0%。

1.初始化一个编码器F，对于给定的秘密消息M和cover X，发送方以类似于对抗扰动的方式修改cover，得到扰动图像X‘，使F(X’)=X

2.训练decoder，使其能够正确提取秘密信息，也就是使D(X’)=M

3.接收方用同样的decoder恢复秘密消息M

参考文献：

[1]李林.基于深度学习的数字图像隐写方法研究[D].电子科技大学,2022.DOI:10.27005/d.cnki.gdzku.2022.004848

[2]李越. 鲁棒视频水印和深度神经网络水印技术研究[D].西南交通大学,2022.DOI:10.27414/d.cnki.gxnju.2022.000059.

[3]付章杰,李恩露,程旭等.基于深度学习的图像隐写研究进展[J].计算机研究与发展,2021,58(03):548-568.

[4]Hayes J, Danezis G. Generating steganographic images via adversarial training[J]. Advances in neural information processing systems, 2017, 30.无源码

[5]Zhu J, Kaplan R, Johnson J, et al. Hidden: Hiding data with deep networks[C]//Proceedings of the European conference on computer vision (ECCV). 2018: 657-672.

[6]Zhang K A, Cuesta-Infante A, Xu L, et al. SteganoGAN: High capacity image steganography with GANs[J]. arXiv preprint arXiv:1901.03892, 2019.

[7]Baluja S. Hiding images in plain sight: Deep steganography[J]. Advances in neural information processing systems, 2017, 30.

[8]Zhang R, Dong S, Liu J. Invisible steganography via generative adversarial networks[J]. Multimedia tools and applications, 2019, 78: 8559-8575.

[]9Jing J, Deng X, Xu M, et al. HiNet: deep image hiding by invertible network[C]//Proceedings of the IEEE/CVF international conference on computer vision. 2021: 4733-4742.

[10]Kishore V, Chen X, Wang Y, et al. Fixed neural network steganography: Train the images, not the network[C]//International Conference on Learning Representations. 2021.