飞桨论文复现课程‘Few-shot Video-to-Video Synthesis’的论文解读

最近百度特别推出了全球顶会深度学习论文复现营。由百度资深算法工程师与中科院高级研究员联合授课。课程链接https://aistudio.baidu.com/aistudio/education/group/info/1340

本文解读的论文题目是‘Few-shot Video-to-Video Synthesis’。

Video-to-video指的是给定一段语意级别（semantic）的视频片段，生成一段真实（photorealistic）的视频片段。例如给定一段连续的舞蹈动作片段，经过模型后会生成真人的舞蹈表演视频。但是传统的vid2vid模型需要采集大量的固定某个人所做的一系列动作片段，然后最后生成的也是以这个人为主角的视频，无法生成以其他人为主角的视频（除非以其他人的数据再训练一个模型）。为了解决上述问题，论文作者提出了few-shot vid2vid framework，仅需再提供少量的其他人的图片，就能生成以该人为主角的视频。

该模型是基于GAN的，具体而言是conditional GAN framework，即根据所传入的用户数据而不是随机噪声，生成最后的结果。与传统的Video-to-video模型不同之处在与映射函数（即F函数）的设计。

上图为传统的Video-to-video模型的F函数，缺点在于只能生成相同角色的视频。为了生成不同角色的视频，Few-shot vid2vid提出了增加两个额外的参数，即一系列的目标角色的图片和其对应的语意图片。于是对应的F函数如下图所示：

具体的网络结构如下：

关键的变化在于蓝色部分的${\theta }_H$由原本的固定状态变为动态的了，并把attention的机制结合进了网络中进行特征提取。

可以看出数据集中不同角色的个数越多以及每一角色的图片越多都能提升模型的效果。