概
当面对时序信息的时候, 如果利用GAN呢?
主要内容
一般的生成器接受一个噪声, 其输出是一个连续的域, 当我们希望输出的实际上是一个离散的场合, 或者输出是一个序列的时候, 直接用GAN是不合时宜的. 另外, 让判别器通过部分序列的数据来判断数据的真假似乎也有问题(虽然我没感觉出啥问题).
一个具体的实例便是生成视频, 视频的帧与帧之间是具有关联性的, 其是一个 C × T × H × W C \times T \times H \times W C×T×H×W的数据, 当然可以直接利用3D的卷积去处理, 但这意味着, 我们将 T , H , W T, H, W T,H,W放在一个尺度之上, 这显然是不合适的. 所以作者的想法是, 将一个生成器分开成两个生成器, 分别为时域生成器 G 0 G_0 G0和图片生成器 G 1 G_1 G1.
G 0 G_0 G0接受一个噪声 z 0 z_0 z0生成一组时域的变量 z 1 1 , z 1 2 , … , z 1 T z_1^1, z_1^2, \ldots, z_1^T z11,z12,…,z1T, 然后 G 1 G_1 G1同时接受 z 0 , z 1 z_0, z_1 z0,z1生成一组图片. 这比直接用一个生成器看起来要靠谱的多, 当然感觉上还是有点困难的. 余下的工作就是普通的GAN的工作了.
实际上本文还有另外一个创新点, 但是印象中之后还会有更好的解决办法, 这里也就不提了.