原文链接：
《一种增强了对H.264 / Avc压缩鲁棒性的新型深度视频水印框架》论文阅读
目录
摘要
最近深度图像水印的成功展示了深度学习在水印方面的潜力，使得以提高鲁棒性和感知质量为目标的深度视频水印受到越来越多的关注。与图像相比，由于视频数据的丰富结构和视频传输管道中攻击的多样性，视频水印具有更大的挑战性。现有的深度视频水印方案在应对帧平均、帧丢弃和转码等时间攻击方面远不能令人满意。为此，本文提出了一种新颖的鲁棒性增强视频水印( Robustness Enhanced Video Watermark，REVMark )深度框架，旨在提高整体鲁棒性，特别是在应对H.264 / AVC压缩时，同时保持良好的视觉质量。REVMark具有带有预处理块( TAsBlock )的编解码器结构，可以有效地提取对齐帧上的时间相关特征。为了保证端到端的鲁棒训练，在REVMark中集成了失真层，以模拟现实场景中的各种攻击，其中，开发了一种新的可微分视频压缩模拟器，即DiffH264。此外，引入掩码损失，引导编码器将水印嵌入到人眼不易察觉的区域，从而提高含水印视频的感知质量。实验结果表明，该方案在实现10倍推理速度的同时，性能优于其他SOTA方法。
1.介绍
数字视频技术在即时通信、数字监控、数字娱乐、数字广告等领域得到了广泛的应用。近年来，社交网络短视频的流行引发了数字视频技术发展的增长。作为数字内容安全的关键角色，数字水印为数字媒体提供了多种保护，包括但不限于所有者识别、版权保护、真实性验证和跟踪。在水印流水线中，水印信息被鲁棒地嵌入到数字媒体中，以抵御噪声、滤波、压缩、统计平均攻击等多种攻击。除了上述攻击外，数字视频水印还需要应对各种时域攻击，包括丢帧、视频压缩等。为了保证整体的鲁棒性，传统的方法通常采用变换技术，如离散余弦变换( DCT ) ，离散傅里叶变换( DFT ) ，离散小波变换( DWT ) 和混合变换[，以获得数字信号的变换域系数，然后根据精心设计的规则应用水印。然而，这些方法往往比较复杂，并且局限于某些特定的攻击。
得益于深度学习的进步，端到端的深度水印框架被开发出来，以确保在保证质量的同时保持整体的鲁棒性。这些框架通常由编码器、解码器和可微的失真层组成。在这种有效且实用的架构下，基于深度学习的图像水印方法如HiDDeN、ReDMark 、StegaStamp等在提高对各种图像攻击的鲁棒性方面取得了成功。由于视频数据的复杂性和攻击手段的多样性，在数字视频传输中，深度视频水印的研究仍然是一项具有挑战性的任务，并引起了越来越多研究人员的关注。DVMark提出了一种多尺度端到端框架，其中失真层包含了一系列针对视频的空间和时间攻击，即帧平均、帧丢失、帧交换、随机裁剪、颜色抖动、高斯噪声、高斯模糊和模拟视频压缩。由于真实的视频压缩是不可微的，DVMark训练了一个网络作为可微代理来模拟给定输入的压缩视频。基于这些设计，DVMark报告了令人鼓舞的实验性能。RIVIE 提出了一种时空生成器，通过逐帧操作将信息隐藏到视频序列中。所涉及的失真层采用可微的3D渲染来模拟相机成像过程，其中屏幕图像由相机捕获。该方法能够在不降低视觉质量的情况下，实现屏幕到相机的通信。
一般来说，现有的深度视频水印方法对时间攻击，特别是视频压缩攻击没有足够的鲁棒性。这可以归因于视频时间特征的利用不充分以及缺乏专门的视频压缩模拟器进行端到端的鲁棒训练。为此，我们提出了一种新颖的鲁棒性增强视频水印的深度框架( Robustness Enhanced Video Watermark，REVMark )。并且将我们工作的主要贡献总结如下：
•提出的REVMark对各种攻击，特别是H.264 / AVC压缩，表现出增强的鲁棒性，同时具有良好的视觉质量。
•提出的时间相关特征提取模块( TAsBlock )可以在对齐的帧上进行特征提取，它可以将有根据的特征传递给REVMark，以便进行鲁棒的消息嵌入和提取。
•构建了一个可微分的视频压缩模拟器DiffH264，该模拟器可以直接集成到失真层中，实现REVMark对H.264 / AVC压缩的鲁棒训练。
•联合利用空域掩码和时域掩码构造深度视频水印的掩码损失，鼓励编码器将信息嵌入到人体不可感知区域，从而提高含水印视频的感知质量。
2预备知识
2 . 1 H.264/AVC编码
H.264 / AVC 是目前比较流行的视频压缩标准。H.264/AVC编码器同时使用帧内和帧间压缩技术，在提高压缩效率的同时保持较高的视频质量。技术细节如图1所示。
帧内压缩利用视频帧内的空间冗余，对图片组( Group Of Pictures，GOP )中的第一帧进行压缩。具体来说，基于可变块大小划分，当前编码块的像素值由相邻的重建块预测。随后，通过从当前块中减去预测块得到预测残差，然后进行变换、量化和熵编码来实现压缩。为了获得用于进一步预测的重构块，通过对量化系数进行反量化和逆变换来重构预测残差。
帧间压缩利用相邻视频帧之间的时间冗余来压缩GOP中第一个视频帧以外的其他视频帧。首先，在GOP中选择一帧(或双向预测的两个帧)作为参考帧。在可变块划分的基础上，在运动估计过程中搜索当前编码帧和参考帧之间的运动矢量( MV )，然后通过对参考帧施加运动补偿得到当前帧的预测。通过运动估计和运动补偿技术，H.264/AVC编码器只需要压缩MV和当前帧与其预测之间的残差，显著降低了比特率。最后按照类似的方法得到重构的框架。
为了增强深度视频水印框架对H.264 / AVC压缩的鲁棒性，需要在失真层引入压缩失真，以利于编码器和解码器的联合学习。考虑到真实的H.264 / AVC压缩不可微，将一个可微的H.264 / AVC压缩模拟器集成到深度视频水印框架中进行鲁棒训练是至关重要的。
2 . 2可微Jpeg近似
在深度水印框架的训练过程中引入可微分的JPEG压缩已被公认为是一种很有前途的技术，以增强对由JPEG攻击引起的预期失真的鲁棒性。为了达到这个目的，Zhu等人[ 45 ]提出了使用JPEG - Mask和JPEGDrop，以一种可微的方法来近似JPEG压缩。
然而，这种近似与真实的JPEG压缩之间存在着显著的差距，导致了次优的结果。为了真实地模拟JPEG压缩过程，Shin等人[ 32 ]根据实际JPEG压缩的主要过程提出了一个可微的近似。考虑到JPEG压缩量化过程中的取整操作是不可微的，在[ 32 ]中，它被近似为一个分段函数，即：
这种可微方案实现了对JPEG压缩的忠实和模块化模拟，从而使水印网络能够进行端到端的鲁棒训练。
2 . 3光流估计
作为计算机视觉中的一项重要任务，光流估计方法[ 4、14、16]常用于计算视频中两帧之间的运动，在运动估计、视频压缩、视频稳像、目标跟踪等领域有着广泛的应用。光流是一个二维矢量场，由代表像素点从第一帧到第二帧运动的位移矢量组成。深度学习的出现为光流估计[ 11、29、38]带来了精度和鲁棒性的增强。Ranjan等人[ 29 ]将空间金字塔与深度学习相结合，提出了SPyNet，能够通过由粗到精的架构更准确地估计光流。作为一个轻量级的模型，SPyNet表现出灵活性和高效性，这使得它可以嵌入到各种应用中。因此，在我们的框架中使用预训练的SPyNet进行光流估计。
3框架
所提出的REVMark由编码器、可微分失真层和解码器组成，其整体鲁棒性通过端到端的训练来提高，如图2所示。为了提高REVMark在时域上的鲁棒性，我们提出了一个时序关联特征提取模块( TAs Block )作为编码器和解码器的组成部分。为了增强REVMark对视频压缩攻击的鲁棒性，设计了可微分视频压缩模拟器DiffH264。此外，为了进一步提升含水印视频的视觉质量，制定了视频水印的掩码损失。具体设计将在下文中依次阐述。
3.1时间相关的特征提取模块
由于视频中物体运动导致相邻帧之间的像素偏移，使得时间上相邻像素的相关性减弱，这对卷积网络在有运动的区域提取有效的时间特征造成了障碍。因此，在进行特征提取之前，需要将偏移的像素点移回到原来的位置(记为帧对齐)。为此，我们开发了一个与时间相关的特征提取模块( TAsBlock )，如图3所示。具体来说，首先，选择输入视频序列中的一帧作为目标帧，引入光流估计网络SPy Net [ 29 ]，估计目标帧与其他每一非目标帧之间的光流。接下来，通过翘曲操作将非目标帧对准目标帧。之后，对帧对齐的视频序列进行两次连续的卷积操作，提取与输入相同大小的时间相关特征。最后，对与时间相关的特征进行帧对齐(记为特征恢复)的逆运算，以在空间上匹配输入视频，以便在后续步骤中进行融合。需要注意的是，特征恢复操作只是调整了特征点的位置，并没有改变它们的值。
在视频水印任务中引入TAsBlock，致力于为编码器和解码器提供有根据的时间特征。帧对齐可以看作是一种将视频数据转换到变形空间的操作，能够对原始视频进行良好的结构表示。帧对齐视频的后续特征提取旨在表征视频序列的相关性和先验知识。具体来说，对齐帧之间存在时间上的差异，这种差异可以看作是视频压缩中的帧间预测残差。值得注意的是，对预测残差进行有损压缩会导致压缩视频的时间失真。总而言之，时间失真可以通过对齐帧之间的时间差异来预测。因此，利用在帧对齐视频序列上捕获的特征，编码器可以估计视频压缩产生的失真，从而可预测地"选择"嵌入域。此外，帧对齐的视频序列可以被认为是一系列对齐的图像，这使得解码器可以进行多图像噪声估计和去噪，旨在提高水印信息的解码精度。
3 .2编码器
编码器将原始视频序列和水印信息作为输入，输出内容自适应的水印残差。如图2所示，编码器采用U - net [ 30 ]作为主干，3D卷积层和LeakyReLU作为基本构建模块。结合所提出的TAsBlock，编码器可以通过多尺度生成方法鲁棒地将水印信息嵌入到视频中。
水印信息以二进制比特串的形式存在。在消息预处理中，消息经过全连接层得到消息向量。然后在时空维度上对其进行重塑造和上采样，以拟合视频形状C × T × H × W。在水印嵌入时，将放大的信息与输入视频序列和提取的时间相关特征进行级联，并将其输入到多尺度编码器中。然后将每一帧上生成的水印残差缩放到单位长度上，以便在所有帧之间平均分配嵌入修改。值得注意的是，通过缩放操作，水印视频的PSNR是固定的。最后，将缩放后的水印残差乘以一个强度因子α，并将其加入到原始视频中，得到含水印视频，即
其中Ft表示视频的第t帧，Fwt表示对应的含水印帧，Rt表示对应的编码器生成的水印残差，clip σ是从Rt中移除离群点进行稳定训练的sigma剪裁方法。
3 . 3失真层
为了提高REVMark在空域和时域上的鲁棒性，失真层被设计为包含一系列可微的空域和时域攻击，即帧平均、帧丢弃、帧交换、随机裁剪、高斯噪声、3D高斯模糊和模拟视频压缩。在训练阶段，失真层根据各自的选择概率每次执行这些攻击之一。为了使REVMark更加关注视频压缩引起的失真，视频压缩模拟器的选择概率设置为0.86，其他攻击的选择概率均等分配。需要注意的是，在训练阶段的开始就禁用了失真层，以专有地诱导出高准确率的消息提取。
我们将对失真层中的每一种攻击方法进行详细的阐述。对于帧平均，时间移动窗口大小N设置为3。对于丢帧，以p = 0.5的概率丢掉一帧。在帧交换中，一个帧以概率p = 0.5与其相邻的帧进行交换。在随机裁剪中，框架在宽度和高度上按比例p = 0.4裁剪。3D高斯模糊和高斯噪声的标准差σ分别设置为2.0和0.04，3D高斯模糊的核尺寸k设置为3 × 3 × 3。
可微的H.264 / Avc压缩。本文提出的可微H.264 / AVC压缩模拟器( DiffH264 )由模拟的帧内和帧间压缩两部分组成。视频序列中的每一帧都会经过模拟的帧内或帧间压缩得到重建帧，即模拟真实H.264 / AVC压缩下的失真帧。在模拟器的预处理中，将视频序列转换到YUV颜色空间。一旦帧被重建，则将其转换回RGB颜色空间。
将模拟的帧内压缩应用于输入视频序列的参考帧。随机选取，以解决实际H.264 / AVC压缩中可能采用不同GOP的情况。然后将参考帧拆分为互不重叠的8 × 8块。在H.264 / AVC中，帧内压缩是基于可变块大小的划分，并依次应用于每个划分块，即当前编码块只有在前一个编码块被重构后才能被预测。该机制提高了压缩效率，但应用于深度学习管道时相当耗时。作为折中，我们选择在参考帧中同时重建所有的8 × 8块。
在我们的设计中，首先，我们在参考帧Fref上实现了离散余弦变换。对于Fref中位置为( i , j)的块Bi，j，其DCT系数由
然后，对DCT系数Ci，j进行可微量化，模拟有损压缩步骤
其中，Tquant表示量化表，round为式( 1 )中的可微函数。在量化过程中，我们使用函数轮来近似不可微的取整操作，从而实现可微量化。最后通过去量化和离散余弦逆变换得到重构块.
其中⊙表示Hadamard积(元素乘积) .综上所述，在帧级别上，模拟的帧内压缩可以表示为
模拟的帧间压缩应用于视频序列中的非参考帧，如图4所示。具体来说，每个非参考帧被输入到与参考帧耦合的光流网络N中，以估计两帧之间的光流：
式中：Fcur表示当前待压缩的非参考帧。然后对参考帧进行变形操作，得到当前帧的预测
它通过可微的方式模拟视频压缩中的运动补偿过程。随后通过前述模拟帧内压缩重构Fcur和Fpred之间的预测残差
最后，得到当前帧的重建结果。
反映了时间畸变对当前帧的影响。
该设计符合H.264 / AVC的基本理念，可以作为实际视频压缩的专用和可解释的近似。
图四：对DiffH264中的帧间压缩进行了仿真。光流由光流估计网络获得，并用于运动补偿。
3 . 4解码器
如图2所示，解码器由TAsBlock、3D卷积层和全连接层组成，它将失真水印视频作为输入，以鲁棒地恢复水印信息。在解码过程中，通过TAs Block提取输入视频的时间相关特征，并与输入视频进行拼接，用于后续的融合。然后依次应用卷积层和全连接层进行提取消息位。通过对解码器和编码器的联合训练，可以准确地提取水印信息。
3 . 5判别器
为了提高编码器的生成质量，构建了一个5层的3D CNN作为视频判别器，用于区分原始视频和生成的含水印视频。通过对抗训练，交替优化编码器和判别器，从而提高含水印视频的质量。
3 . 6损失函数
所提出的损失函数包括三个部分：消息损失，对抗损失和掩码损失。采用消息损失来保证水印消息的解码精度，并通过输入消息m和解码消息m′之间的交叉熵来计算。
利用对抗损失来增强含水印视频的视觉质量。通过对抗训练，交替优化生成器损失Ladv和判别器损失LD，定义为
式中：V和V w分别为输入和加水印后的视频，D为判别器。
掩码损失通过空间和时间掩码来引导编码器在人眼不敏感的区域嵌入信息，以提高含水印视频的感知质量。考虑到人眼对纹理复杂的区域不太敏感，我们首先基于纹理信息构建空间掩膜，即：
其中Ft为视频的第t帧，Sh和Sv分别表示水平3 × 3 Sobel算子和垂直3 × 3 Sobel算子。相应的空间掩码损失公式为
其中e Rt表示第t帧的最终水印残差。在LMS的监督下，由于平滑区域的修改损失增加，编码器被鼓励在纹理丰富的区域嵌入信息。另一方面，人眼对视频中的时间闪烁也很敏感，因此构造了一个时间掩码作为相邻两帧视频的差值：
据此，相应的时间掩码损失被表述为
根据时间掩码损失，当原始视频相邻两帧之间的时间差异不大时，水印视频在这些区域的时间差异不大也应该是微不足道的，不产生时间闪烁。结合空域掩膜损失LMS和时域掩膜损失L MT，定义全掩膜损失Lmask为：
式中：N为一帧图像的像素个数。
最后，将联合编解码器损失函数总结如下：
4实验
4 . 1实验设置
在这一部分中，我们介绍了实验中的数据集、训练细节和评估指标，并以此为参考对REVMark及其变体的性能进行了评估。
数据集。我们在Kinetics - 400数据集上对提出的REVMark进行了训练和评估[ 21 ]。所有视频被裁剪成128 × 128大小，每个输入视频序列由8个裁剪后的帧组成，有效载荷为96比特用于消息嵌入。
训练详情。整个水印框架由PyTorch实现，并在一块NVIDIA GTX TITAN X GPU上训练，共60K步。在编解码器训练中，批大小设置为16，学习率设置为1e - 4。我们选择Adam作为优化器，每30K步施加一个衰减率为0.5的指数衰减。对于对抗训练，在每一步编解码器后对判别器进行一步训练，初始学习率为1e - 5，权重衰减策略与编解码器相同。
在训练阶段，将掩码损失中的λ MS和λ MT分别设置为200和5，消息损失权重λ 1固定为1。为了保证消息被准确提取，在训练阶段开始时，λ 2和λ 3被初始化为0，水印强度因子α被初始化为20。然后，λ 2和λ 3逐渐增加到5e - 4和10，而α逐渐减小到6.2，以提高含水印视频的质量。
评价指标。作为对比实验，在相同的视频大小和有效载荷下，评估了REVMark和最先进的( state-of-the-art，SOTA )方法DVMark [ 25 ]的性能。我们通过测量解码消息的比特精度、水印视频的PSNR和LPIPS损失[ 42 ]来进行定量评估。
4.2鲁棒性评价
鲁棒性通过各种攻击下的解码准确率进行评估，包括帧平均、帧丢弃、帧交换、随机裁剪、高斯噪声、3D高斯模糊和H.264 / AVC压缩。表1收集了本文提出的REVMark和DVMark在特定攻击强度下对应的性能对比。可以看出，得益于提出的TAs Block和DiffH264，REVMark在大多数攻击下表现出优于DVMark的性能，尤其是视频压缩。
对于随机裁剪攻击，REVMark表现出较差的性能，这是由于REVMark和DVMark在消息预处理方面存在较大差异。特别地，DVMark通过在嵌入之前沿时空维度复制每一比特来扩展消息。该机制使得消息的每一个比特都能扩散到整个视频序列中。REVMark将消息映射并上采样到视频序列的形状。因此，经过预处理后，消息的每一位都被限制在局部区域内，削弱了REVMark对随机空间裁剪攻击的鲁棒性。但考虑到DVMark中的消息预处理会对编解码器训练造成更高的计算需求和更大的难度，我们仍然选择对消息进行映射和上采样来加速收敛，方便网络训练。
为了进一步评估REVMark的整体鲁棒性，我们报告了在不同强度的各种攻击下的解码准确率，如图5所示。可以看出，REVMark对广泛的攻击强度具有一致的鲁棒性。与DVMark相比，对于时间攻击和高斯噪声，这种影响变得最为明显。尽管在视频压缩中解码精度易受恒定速率因子( CRF )的影响，但在适中的CRF下仍能可靠地保持解码精度。更重要的是，在适度的随机剪切强度下，解码精度可以与DVMark相媲美，例如，p≥0.7。
4.3视频质量评价
表2给出了REVMark和DVMark在上述鲁棒性能方面的视频质量对比。实验结果表明，REVMark在生成水印视频的PSNR和LPIPS损失方面均表现出优越的性能，尤其是在LPIPS损失方面。图6中的含水印视频样本表明，REVMark编码器确实产生了内容自适应的水印残差，这有助于提高含水印视频的感知质量。
4.4鲁棒性-质量-有效载荷权衡
在这一部分中，我们研究了水印应用中鲁棒性、视频质量和有效载荷之间的权衡。为了评估我们的水印框架在各种含水印视频质量下的鲁棒性，我们在不重新训练框架的情况下调整水印强度α，并评估在H.264 / AVC压缩下的解码精度。实验结果为总结如表3所示，为具体应用选择合适的水印强度提供了思路。为了探索有效载荷和鲁棒性之间的权衡，我们对每个单独的有效载荷训练了我们的框架，并评估了H.264 / AVC压缩下的解码精度。从表4中的实验结果可以观察到，即使在高负载水平下，所提出的框架也保持了较强的鲁棒性。
4.5消融研究
对REVMark中提出的TAs Block、DiffH264和掩模损失等组件的有效性进行了消融实验。在每个成分的消融研究中，REVMark的变体都是在相同的实验设置下构建和训练的。在鲁棒性评估中，通过微调变体和调整水印强度α来固定含水印视频的质量。相应地，在对含水印视频质量进行评估时，通过调整α来固定解码精度。
Tasblock的影响。我们设计了完整的REVMark和去除TAsBlock的REVMark两种变体，然后报告了每种训练变体在四种不同攻击方法下的解码精度，即丢帧、高斯噪声、3D高斯模糊和H.264 / AVC压缩。如表5所示，使用TAsBlock，REVMark的解码精度相对于H.264 / AVC压缩性能有了明显的提高。与我们的预期一致，所提出的TAs Block可以在帧对齐的视频序列上提取有根据的时间特征，这使得编码器和解码器可以利用这些有效信息，并有利于增强REVMark的鲁棒性。
Diffh264 .为了验证所提出的DiffH264的有效性，我们在DVMark (记为Comp Net)和可微JPEG [ 32 ] (记为DiffJPEG)中构建了可微代理网络进行比较。它们被用作失真层的视频压缩模拟器来训练提出的REVMark。如表6所示，与CompNet和DiffJPEG相比，DiffH264可以显著增强REVMark对H.264 / AVC压缩的鲁棒性。
我们对这一表现进行分析。CompNet试图学习从原始视频到压缩视频的变换，然而很难直接建模H.264 / AVC压缩的转换机制，例如DCT系数的量化失真和帧间压缩的时间失真。DiffJPEG也无法处理时间失真。所提出的DiffH264遵循H.264 / AVC的主要原则，以可微近似的方式系统地模拟了帧内和帧间压缩。这使得REVMark能够实现一个忠实的视频压缩模拟器，提高了REVMark对H.264 / AVC压缩的鲁棒性。
为了探究所提出的掩码损失的贡献，我们根据是否应用掩码损失构造了REVMark的两个变体。生成的含水印视频的质量评估如表7所示。正如所能可见，视频质量，特别是在感知质量方面，在掩膜损失的帮助下，显示出有希望的增强。这可以归因于在提出的掩膜损失中对人类视觉感知的仔细考虑。
4.6计算成本的比较
我们进行了扩展实验来评估计算成本，并报告了REVMark和DVMark在模型参数、浮点运算( FLOPs )和训练步骤方面的比较结果。对两种框架的编码器、失真层和解码器进行了评估。与表8相比，我们提出的REVMark减少了模型参数，实现了比SOTA方法显著的计算量减少，并且仍然保持了更好的性能。
5结论
本文提出了一种新型的端到端视频水印框架REVMark，该框架由编码器、可微失真层和解码器组成。具体来说，多尺度编码器和解码器由3D卷积层构建，并与所提出的TAsBlock配合用于有效的时间特征提取。为了增强REVMark对视频压缩的鲁棒性，在失真层开发并实现了DiffH264，在可微的基础上模拟了H.264 / AVC的帧内和帧间压缩。此外，为了提高含水印视频的感知质量，提出了掩码损失，其中提供了空间和时间掩码，以指导编码器嵌入具有不可感知改性的水印信息。实验结果表明，与之前的深度视频水印方法DVMark相比，REVMark的鲁棒性显著提高，同时保持了令人满意的视频质量。进一步的实验说明了REVMark的高效性。该框架在版权保护、追踪、主动取证以及主动防御等多个领域具有潜在的应用价值。
扫一扫
1052
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
