First Order Motion Model for Image Animation论文解读-使用Paddle的百度论文复现营学习笔记

First Order Motion Model for Image Animation论文解读

百度为了帮助同学们更好的进行论文发表等科研工作，深入实践深度学习，特别推出了全球顶会深度学习论文复现营。由百度资深算法工程师与中科院高级研究员联合授课，28天手把手带你亲自复现1篇论文，掌握论文复现全流程。
本文为学习过程中对论文First Order Motion Model for Image Animationde的学习理解的笔记。

论文实现了什么

传统的换脸是针对视频做图像帧级别的操作，如果想把源脸替换到目标脸上的话，需要使用大量的双方人脸图像的数据进行事先训练。因此需要较大的数据，同时也花费较长的时间进行训练，但是扩展性不强。
该论文实现的模型为，给定一张图片，给定一个驱动视频，就生成一段视频，其中主角是源图片，动作是驱动视频中的动作。

论文中的基本思路

整个模型训练过程是通过输入源图像和驱动图像，其中原图像相当于需要重建的静态样本，驱动图像用于提取动作信息，整个模型的过程就是重建一个保留原图像物体信息同时含有驱动视频动作信息的过程。

总的来说是两个部分，一个是动作评估提取，另一个是图像生成。具体公式方面因解读的还没有很到位，暂时不做展开。

其中一个需要注意的地方是，在生成过程中可能关键点差异会比较大，所以作者引入了一个抽象的参考帧，通过预测参考帧到两边的映射 ，避免了直接计算映射。另外其中的关键点检测会输出关键点信息和局部仿射变换的参数信息，这些参数使得关键点附近的姿态信息可以通过仿射变换得到，然后通过泰勒展开可以得到联合图像，然后得到对应的输出 。

笔记

第一次读论文感觉还是比较吃力，特别是对公式的理解以及前置一些知识的储备上，同时在实现论文的技巧上，该篇作者没有在文中进行详细的解读，需要结合代码再进行理解和掌握。