超级会员免费看
该研究关注深度伪造视频检测，指出现有方法忽视时间不连续性。提出通过StyleGRU模块捕捉潜在风格向量的时间变化，结合3D ResNet-50提取内容特征，并利用风格注意力模块增强检测能力。实验表明，这种方法提升了模型的泛化性能，特别是在跨数据集和伪造方法的场景下。
一、研究背景
1.大多数方法主要关注空间伪影和频率伪影，但是这些方法都是基于单张图片进行判断，没有考虑到帧间的时间不连续性。
2.现有关注时间、视觉线索的方法侧重于像素等低级特征，忽略了面部属性等高级内容的时序变化，难以应对伪影痕迹不明显的新增伪造视频。
二、研究动机
1.由于面部表情和几何变换，伪造视频的潜在风格向量在时间维度上存在时序不一致性。
2.由于生成视频对表情和运动进行了时序平滑处理，其潜在风格潜向量会出现方差抑制现象。
3.使用风格特征的GAN反演模型的性能优于直接修改潜在风格特征的模型，但图像域的风格特征不能直接用于视频域的深度伪造检测任务。
4.由3D卷积提取的内容特征蕴含时空不一致性信息。
三、研究目标
将时序信息纳入高阶特征中进行探究，提升模型泛化性能。
四、技术路线
基于潜在风格向量和其异常表现来进行深度伪造视频检测。
1.通过StyleGRU模块来表征潜在风格向量的动态特性，即提取时序风格流 E
订阅专栏 解锁全文
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
