基于H.264裸流的视频信息隐藏实现

PS：从来搞过视频编解码的新手，写的分享类文章，都是在做毕设慢慢摸索出来的，应该有很多不严谨的地方，大佬们看看就好。

（视频隐写应该主要依靠预测模式，运动矢量等从编码过程进行信息的嵌入，本文的做法算不上真正意义上的视频隐写，算是对图片进行了信息隐藏处理，最后还原回了视频）

提要：最近做的毕业设计，是做《宏块级最小化失真的H.264/AVC的视频信息隐藏算法研究》的相关实现，赶在离校之前的最后一天写下。

主要内容：原本应该是主要针对 H.264/AVC 标准 I 帧亮度分量预测编码过程，提出了一种宏块级最小化失真的 H.264/AVC 视频信息隐藏算法。该算法以 I 帧亮度 4×4 块预测模式为嵌入位置，充分考虑 4×4 块预测模式方向相关性建立映射规则，基于率失真理论设计失真函数，通过 STC 编码（Syndrome Trellis Codes）生成具有最小失真值的含密序列。预测模式的调制过程是在含密序列和映射规则的共同限制下通过二次编码来完成。而实际情况：对于我这样从来没有搞过视频编解码的人，对视频进行嵌入秘密信息就十分复杂，一头雾水，更别提STC（针对预测模式的提取和映射规则的建立都弄了好久，最后饶了大半圈也不知道如何嵌入信息），于是简单了信息隐藏，主要利用Lsb和gibbs采样来进行隐写。针对预测模式的提取和映射规则的建立，饶了大半圈也不知道如何嵌入信息。后来看了很多资料，终于找到了如何做的思路。一篇H.265的隐写点醒了我。

研究的主要问题是：

1. 信息隐藏的载体是什么？

2. 如何怎么提取载体？

3. 信息隐藏算法如何选择？

4. 信息隐藏前后的PSNR以及SSIM表现如何，还有安全性

5. 信息隐藏前后的比特增长率

设计方案：
从最开始的这样一种思路（在编码过程中进行信息的嵌入，需要对编码过程很熟悉）到

后面这种思路（在编码完成后，进行信息的嵌入，不需要很熟悉编码过程，实现起来更简单）

所以于是针对第二种思路，就开始了对H.264的信息隐藏。

针对上述方案，进行如下的设计内容

- 编解码器
编解码采用的是学术上常用的JM，我的版本是最新版19.0

- 截取视频帧
截取视频帧这一步主要是利用雷神的Videoeye，而且还可以进行灰度处理，后面用gibbs采样进行隐写时刚好需要用到灰度图片。另外雷神的这个软件功能特别多，可以多了解下。

- 算法选择
信息隐藏算法的选择上用了最简单的LSB算法，以及数学上常用的gibbs采样，主要是针对图像高低频域的部分进行处理。

- 图像帧的还原
将图片帧还原成原来的视频，这里靠的剪视频的朋友用PR替我还原回了MP4，最后我用ffmpeg还原回了H.264的格式。

根据上述的设计内容开始进行实现，素材是YUV_Sequence里的news.yuv（除此之外还有很多素材可供下载）：
1.首先对JM进行配置

没有修改什么配置，只修改了输出后的文件，要记清楚生成的ReconFile，因为在解码时会输出SNR信噪比的值，来比对编解码视频前后质量评价。
如这样（这里用的灰度的来演示一下，所以只有Y亮度的SNR值，而色度UV是0）

2.截取视频帧
截取两组图像帧，一组RGB作为LSB的信息隐藏载体，一组灰度作为GIBBS采样的载体。

RGB：
灰度：

3.算法选择：
这里不对算法进行描述，LSB的图像嵌入可自行百度，我主要是通过嵌入文字以及选择最后1-5位来进行嵌入，能看到逐渐的失真。

对于文字的嵌入提取可以利用Stegsolve来进行检查是否嵌入信息。
Gibbs采样参考这里

这里主要的坑是8位深256色png图片，别想着用Python写个脚本直接修改文件后缀名，用不了。最开始这里卡了好久。

4.图像还原视频Pr或AE输出MP4，再使用ffmpeg还原为H.264裸流

注：最后进行H.264解码回yuv的时候，记得修改reconfile参考文件以获得正确的SNR值，灰度和RGB需要分开进行实验。

5.对于PSNR以及SSIM值主要是比对图像嵌入前后的情况，百度有一大堆，python以及matlab都可以实现，这里也不放实验结果的柱状折线图。

6.对于比特增长率来说，信息嵌入前后不能太大，如果越大对视频传输过程就有较大的影响，占用的带宽会增大，对网络会有一定的影响，如下的仅仅是300帧的视频流，不会很明显，而对于如今的4K高清，其前后就会有很大的区别。

最后简单结论下：

• LSB实现简单，隐藏量大

• LSB鲁棒性差，易受到攻击，嵌入后比特增长率大

• Gibbs对于处理高频部分容易出现块效应而造成失真严重

以上都是个人拙见，有什么问题，可以在评论下方留言，大家互相交流学习。