学习Fast Face-swap

Catalague

• Related work
• New solution
• Methon
• Conclution

Abstract

   输入图像转换为目标图像的位置同时输入姿势，面部表情，凝视方向，发型，光照相同，通过神经网络对输入输出图像进行前后，能够产生高度真实感，并能够实时输出。

Related Work

   Bitouk al.

基于外观和姿势的相似性，自动地将输入面替换为从大图像数据库中选择的另一面，调整颜色和光照以混合两个面部

问题：无法控制输出标识和改变输入端的表达

  Dale al.

替换视频中的面孔，

困难是与静态图像相比，顺序数据带来额外的时间对齐问题，和跟踪面部表现并确保所得镜头的时间一致性.3

  Suwajanakorn al.

控制一张脸与另一张脸的表情，核心思想是从大量图像构建输入和替换面的3D模型

New Solution

   1 艺术风格转移，其目标是以另一图像的风格呈现一个图像的语义内容

   2 Li和Wand 通过用基于补丁的损失替换基于相关性的样式损失来更好地保留局部结构

   3 提出了一种前馈神经网络，使用多图像样式丢失，描述样式的而不是使用单个参考点，并且进一步扩展损失函数以明确匹配图像之间的光照条件。

Method

1.Transformation network

2.1 Loss functions

损失函数是表示神经网络性能的“恶劣程度”的指标，即当前的神经网络对监督数据在多大程度上不拟合，在多大程度上不一致。

1 我们想获得的是能提高识别精度的参数，特意再导入一个损失函数不是有些重复劳动吗？

2 既然我们的目标是获得使识别精度尽可能高的神经网络，那不是应该把识别精度作为指标吗？

在进行神经网络的学习时，不能将识别精度作为指标。因为如果以识别精度为指标，则参数的梯度在绝大多数地方都会变为0，导致参数无法更新

2.2 Loss functions

内容损失：

  每一个网络层有不同的卷积核N，每个卷积核有它各自的长和宽。那么每一幅图所产生的内容等于该层卷积核的数量N，和卷积核的尺寸的乘积是相等的。由此产生“像素级别”激励，我们对它进行平方损失，得到的就是内容缺失函数。

风格损失：

  图片上的每一个点x，在k*k的邻域内，生成一个所有补丁的列表y，并对每一个找到最佳匹配补丁，并最小化他们之间的距离

光照损失：

  我们通过引入额外的光照损失函数，来解决光照惩罚问题

总变差正则化：

  使用正则化来鼓励空间的平滑

Conclusion