视频预测论文（GAN）（1）-DEEP MULTI-SCALE VIDEO PREDICTION BEYOND MEAN SQUARE ERROR

准备就一系列论文的学习写博客，方便自己查找。

这是第一篇

DEEP MULTI-SCALE VIDEO PREDICTION BEYOND MEAN SQUARE ERROR

这篇我主要关注通过gan网络生成的预测

---

首先我们的输入包括真实前置帧X,真实待预测帧Y,生成器G,判别器D
在训练判别器时，我们将真实的X,Y打包成（X,Y）
在训练生成器时，我们将X与高斯分布Y’打包得到（X,G(X)）并将它作为输入
输入判别器中
判别器的训练

我们将真实待预测帧定义为1，将生成器生成帧定义为0
对于真实图片，我们尽可能让D(X,Y)=1,
对于生成图片，让D(X,G(x))=0

Lbce表示交叉熵

生成器的训练
对于生成图片，让D(X,G(x))=1

然后通过随机梯度下降法进行训练

训练网络
生成器，映射为(m+n)*h*w->(m+n)*h*w
判别器，映射为(m+n)*h*w->[0,1]

实验结果：
数据集：UCF101

1帧和2帧预测

1帧和8帧预测

这里我们可以看到，当预测帧数较多时，SSIM不是很高，这篇论文比较早，看之后的论文有没有解决。

tensoeflow代码实现