深度伪造生成与检测研究综述论文阅读笔记

深度伪造生成

深度音频伪造技术

对语音信号的伪造生成
从文本到语音（语音合成）或者由语音转换成合成语音（语音转换，转换频谱、韵律）两种方式
目前研究：1、声纹认证系统中特征向量——梅尔倒谱，将改进的双向长短时记忆网络加之全局方差一致性滤波，实现了对声纹认证系统的欺骗攻击。
2、TACR-Net，用于解决合成语音内容的编辑系统中说话人与内容在嘴型上不一致的问题

深度视频伪造技术

对视频序列中的对象或者字幕内容进行替换
伪造视频的连续性
对语音以及内容伪造、对角色伪造
目前研究：1、对抗性元学习生成模型框架，实现使用少量图像样本建立一个伪造视频
2、针对生成的伪造视频与原始视频光度不一致的问题，提出了一种单目目标视频序列的实时面部重演方法，实现了生成的伪造视频与现实生活中的光照无缝连接

深度图像伪造技术

对图像中的人物进行替换或者是对人物对事件做出的表情进行替换的技术
完整的面部合成：对面部进行操作或编辑，生成并未存在的人的面部
1、条件坐标生成对抗网络（COCO-GAN），实现了生成样本大于训练样本的过程（越界生成）
2、针对StyleGAN生成图像质量问题进行了修复（代码优化、惰性正则化、权重解调等），提出了StyleGAN2，实现在面部图像合成质量上、训练表现上的提升
身份替换：将特定图像目标中的人脸替换成为源目标中的其他人脸
1、对抗性扰动（对图像进行修改）来增强深度伪造
属性操作：修改目标图像的特定面部区域
1、3D引导的细粒度人脸操作方法
2、边界的伪影的问题，提出FakePolisher方法
面部重演：转化目标图像的表情、面部姿态以及眼球运动
1、一次性方法来生成仅使用单个源图像的重演面部

数字图像的生命周期由图像采集（使用外部设备获取图像）、图像编码（存储或保存数据图像）和图像处理（增强或修改图像的实际内容）三个步骤
数字图像处理目前可分为三类：数字水印（对图像标记所有权的方式）、数字签字（确保数字图像的真实性）和图像伪造（改变其所描绘的事实）

深度伪造生成框架

视频伪造经典工具

深度伪造检测

深度音频伪造检测技术

主动检测技术：使用某种方法在原始音频数据中生成数据水印，另一方在使用过程中会重新生成水印，检测时将重构后的水印与接收的水印进行比对，一致则为原始不一致则为伪造
被动检测技术：将可疑语音分为有声段、无声段两个部分；再利用特定的具有鲁棒性的后处理操作方法从片段中提取特征，并将特征进行相似性分析，从而检测出伪造的音频片段
目前研究：1、逻辑回归将深度神经网络（CNN、CRNN、ID-CNN、Wave-U-Net）和传统的机器学习模型（GMM、SVM）组合成一个深度伪造音频检测集成模型
2、无约束的伪造音频检测技术——Transformerseq2seq网络，具有参数量最小的优势
3、将梅尔谱图与深度学习应用到一起的深度音频伪造检测方法

傅里叶变换：将信号分解成各个频率和频率的幅度，将信号从时域转换成频域，结果为频谱

每个信号都可以分解成一组正弦波和余弦波，这些正弦波加起来就是原始信号
我们将y轴（频率）转换为对数刻度，将颜色维度（振幅）转换为分贝以形成频谱图。 我们将y轴（频率）映射到mel尺度上以形成mel频谱图。

深度视频伪造检测技术

主动检测：数字水印和数字签字。在视频中加入不可见的信息，如果被篡改信息会自动发生改变，过于依赖算法和硬件的实现以及先验信息的获取
被动检测：视频伪造时会留下痕迹，如噪声、纹理、光流差异，实现帧的差异检测
1、拼接合成人脸到原视频，引入3D头部姿势（头部方向和位置）的方法来训练SVM分类器用于区分原始视频数据和深度伪造视频数据
2、伪造视频不具有生物信号，基于眼睛和凝视特征构建的深度视频伪造检测器，并将视觉、几何度量和光谱集成在其中
3、视听不同步，视觉/听觉深度伪造联合检测技术，并表明视听内在同步有利于深度视频伪造检测

深度图像伪造检测技术

主动检测：数字签字和水印
被动检测：独立：检测图像重采样和压缩伪造
非独立：检测图像拼接、复制和移动伪造
1、严重依赖训练设置，会导致测试性能的下降的问题，出双边高通滤波器（BiHPF），它通过放大在合成图像中发现的频率水平伪影的效果，实现稳健地检测出各类深度伪造图像
2、常见转换（模糊、调整大小）时泛化能力不足，提出了一种新颖的块混洗学习并结合对抗损失算法克服混洗引入的噪声带来的过拟合问题
3、期望最大化（EM）算法提取局部特征，然后训练分类器（K-NN、SVM、LDA）来分辨真实图像和由当时最新的五种架构生成的图像的真伪
4、基于DNN的深度伪造检测对于对抗性深度伪造生成的图像检测效果不好的问题，提出了正交梯度以减弱深度伪造技术的对抗性
5、改进的对抗生成算法APGD，通过使用生成对抗样本进行扰动，使得深度伪造模型出现失真，只适合白盒攻击
6、遮挡式增强方法以及光学变换的数据增强的伪造检测方法，高鲁棒性，泛化性不强

未来研究方向

深度伪造

1、研究具有权限性的深度伪造生成技术，加上身份认证、用户认证、地址认证等
2、研究生成更加趋近于真实的伪造成果的深度伪造生成技术
存在问题：音频伪造存在噪音，视频伪造变化僵硬，图像伪造纹理缺失
3、研究更加多元化的深度伪造生成数据集，不能仅限于性别、种族、年龄的差异，扩充光照程度、嘴部眼部等姿态变化

伪造检测

1、生物信号的检测算法：很大部分是针对眼球变化、嘴唇变化与伪造人脸视频帧不对应的问题，可以针对心跳、血压等心理信号进行检测的研究
2、研究泛化能力强的检测算法：能够检测更多数据集的检测技术
3、研究鲁棒性强的检测算法：能够检测复杂数据
4、研究和大数据相关的检测算法：区块链、云计算等大数据相关的技术一起研究伪造检测问题，以应对海量的数据
5、研究多国协同的检测算法：深度伪造跨境性问题
6、研究更加普适的检测算法：针对普通大众