Few-shot Video-to-Video Synthesis

Few-shot Video-to-Video Synthesis

打卡+坚持
今日语录：千里之行始于足下
论文
代码

让蒙娜丽莎说话，让大卫雕塑跳舞的快速视频到视频的合成

摘要

• 视频到视频的合成v旨在把输入的语义视频，例如人体姿态或者是分割掩模的视频转换为输出的具有真实感的视频。尽管当下最好的vid2vid已经取得很大的进展，但是仍然有两个主要的限制性。第一个是，他们缺乏数据，在训练的时候需要大量的目标人物或者是场景的图像。其次，这个学习模型的泛化能力有限。一个姿态到人的vid2vid模型只能合成在训练集中单个人的姿态。他不能泛化到其他不在训练集中的其他人。为了解决这种局限性，我们提出了一种小样本的vid2vid的框架，这种框架学习通过在测试时利用少量的样本图片合成之前没有见过的物体或场景的视频。我们的模型通过利用一个注意力机制的新型网络权值生成模块实现小样本的泛化能力。我们使用几个大规模的视频数据集，包括人类舞蹈视频、说话的人脸和街景视频，与基准比较并进行了大量的实验验证。实验结果验证了该框架在解决现有vid2vid方法的两个局限性方面的有效性。代码可以在我们的网站上找到。

1. Introduction

• 视频-视频合成是指将输入的语义视频转换为输出的具有真实感的视频。它的应用范围很广，包括利用人体姿态序