Vid2Vid:Video-to-Video Synthesis

论文：Vid2Vid
代码：项目主页
Vid2Vid作为pix2pix，pix2pixHD的改进版本，重点解决了视频到视频转换过程中的前后帧不一致性问题。

视频生成的难点

GAN在图像生成领域虽然研究十分广泛，然而在视频生成领域却还存在许多问题。主要原因在于生成的视频很难保证前后帧的一致性，容易出现抖动。对于视频问题，最直观的想法便是加入前后帧的光流信息作为约束，Vid2Vid也不例外。由于Vid2Vid建立在pix2pixHD基础之上，加入时序约束。因此可以实现高分辨率视频生成

作者给出的方案

• 生成器加入光流约束
• 判别器加入光流信息
• 对前景、背景分别建模

1.对生成器加入光流约束

符号定义：

• 输入图像序列：
• 目标图像序列：
• 生成的图像序列：

视频-视频转换问题可以建模为如下一个条件分布：

那么我们可以训练一个CNN，将条件分布建模为
进一步可以表示为：