超级会员免费看
该研究关注伪造视频检测的挑战，尤其是在分辨率压缩等干扰下的鲁棒性。研究发现，利用面部动作和表情等高级特征比低级纹理更能抵抗干扰。RealForensics框架被提出，它通过自监督学习，利用图像和音频的对应关系学习时间密集特征，并用此进行伪造检测。实验表明这种方法提高了检测效果。
一、研究背景
1、伪造检测所面临如下挑战：对于伪造检测任务，基于单张视频帧的泛化方法已较为成熟，但这些方法对干扰比较敏感（例如，分辨率压缩）。
2、现有伪造检测技术分为两类：一类是通过抑制高级语义来辅助特征提取，但是这类方法性能不佳；另一类是通过检测不协调动作来进行伪造分类，但是现有伪造技术已经不存在这一问题。
二、研究动机
伪造视频经常表现出异常的面部动作和表情，同时随着时间的推移，面部也会产生细微变化。与纹理细节等低级特征相比，上述高级特征更能够抵抗压缩或模糊造成的检测干扰。
三、研究目标
1、将时间维度纳入考虑，利用talking faces在外貌和动作中蕴含的丰富信息进行伪造检测；
2、避免模型过拟合于现有伪造技术；
3、解决以往模型需要预训练的问题。
四、技术路线
提出RealForensics，分两阶段进行处理：
1、通过自监督的方式，利用图像信息和音频信息之间的自然对应关系，习得包含面部动作、表情、身份等信息的时间密集特征。
具体操作是：
（1
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
