读参考8-11总结

【8】使用卷积神经网络进行对齐和不对齐的双 JPEG 检测

• 由于JPEG编码标准的广泛推广，图像取证界多年来一直十分重视双JPEG（DJPEG） 压缩探测器的开发。检测图像是否被压缩两次的能力为图像真实性评估提供了最重要的信息。鉴于卷积神经网络
  （CNN） 最近在许多计算机视觉任务中获得的趋势，本文建议使用 CNN 进行对齐和不对齐的双 JPEG
  压缩检测。特别是，我们探索CNN直接从图像捕获DJPEG伪影的能力。结果表明，拟议的基于CNN的探测器即使在小尺寸图像（即64个×
  64）下也实现了良好的性能，优于最先进的解决方案，尤其是在不结盟的情况下。此外，在普遍公认的具有挑战性的情况下，第一质量系数大于第二个质量因素，也取得了良好的效果。

【7】重定向无监督视频

• 无监督数据驱动的视频重定向方法，在能够保持目标域风格的同时将顺序内容从一个域转移到另一个域
  简单举例：1.一个人到另一个人的人体动作和面部翻译
  2.从人类演示教学机器人，或黑白视频转换为彩色。还可应用于创建在现实世界中难以捕捉或标记的视觉内容。 在虚拟现实中对齐人体运动和两个人的面部，或为自动驾驶汽车标记夜间数据。 将时空线索与条件生成对抗网络合并用于视频重定向。

【9】基于摄像头的CNN特征聚类的篡改检测和定位

• 利用不同相机模型在图像上留下的特征足迹的图像篡改检测和定位算法
  基本原理：原始图像的所有像素都应该被检测作为一个单一的设备拍摄。反之，如果通过图像合成获得图像，则可以检测到多个设备的痕迹。利用卷积神经网络(CNN)从图像补丁中提取特征相机模型特征。然后利用迭代聚类技术对这些特征进行分析，以检测图像是否伪造，并对异类区域进行定位，具体的说：就是利用斑片的方式分析图像，并利用卷积神经网络学习的描述符来检测不同的斑块是否属于不同的相机模型（即图像是伪造的）

【10】.每个人都在跳舞

• do as I do
  运动传输。给定一个人跳舞的源视频，我们可以在目标主体表演标准动作几分钟后，将表演转移到一个新的目标上。利用姿态作为中间表示来处理视频到视频的转换问题。从源主体提取姿态并应用学习的姿态-外观映射生成目标主体。预测了两个连续帧的时间相干视频结果，并引入了一个单独的管道为真实人脸合成。
  为可靠的合成内容检测提供了一个人取证工具，能够区分系统合成的视频和真实数据，并发布了一个开源视频数据集。
  方法：给定一段源人和另一段目标人的视频，目标是生成一个新的目标的视频-动作与源相同。将管道分为三个阶段：位姿检测、全局位姿归一化和从归一化的位姿线条图到目标主题的映射
  位姿编码和归一化：对图像的人体姿态进行编码，作者使用了一个预先训练好的姿态检测器P，它可以精确地估计二维x,y关节坐标。然后我们通过绘制关键点和在连接的关节之间画线来创建一个彩色姿态线条图。在图像中人距离摄像机远或近时，可以通过变换位姿关键点，按照目标人的体型和位置来线性映射
  视频姿态转换：基于对抗单帧生成过程，在原条件GAN设置中，产生网络G与多尺度鉴别器D=(D)进行极大极小博弈，生成器合成图像欺骗鉴别器D，鉴别器辨别生成器生成的“真实”图像和“虚假”图像。两个网络同时接受训练，并相互推动以提高性能–G学会合成更详细的图像来欺骗D，而D反过来也学会了生成的输出和真实数据之间的差异，最后G合成一个给定姿势的人的图像，由于单帧不适合视频合成，会产生时间伪影，作者改用双帧

【11】CNNs

• CNNs：作者在分析的时候发现对有篡改的图像直接上CNN效果并不好，在进行CNN之前先进性中值滤波器处理，得到中值滤波残差的图，再用CNN进行学习，会得到更好的效果。作者把这个方法叫做CNNs，CNNs就是对CNN的改进，结合了中值滤波
  结合CNN和中值滤波器，提升图像篡改检测的精度
  中值滤波是一种数字图像处理的方式，具体是选择一个框框，比如3×3，然后和卷积类似，将这个框对图像进行遍历，因为是3×3，一共有9个数字，并把遍历的像素换成中值。假设原图像为x，则可表示为x(i,
  j)，3×3的框表示为f，中值函数使用med表示，d(i, j)表示中值滤波残差则有如下公式： d(i, j) = medw(x(i,
  j)) - x(i, j)
  =y(i, j) - x(i, j) 之后对得到的d(i, j)进行CNN处理，效果提升很明显