论文阅读笔记 Predicting Future Frames using Retrospective Cycle GAN

已代码复现，应用于雷达数据集，效果不好，遂放弃

0 摘要

两个Discriminator(一个判断frame是否真实，一个判断frame的sequence是否真实), 一个Generator组成了作者的网络

1 介绍

首先作者的generator可以同时预测未来与过去的帧, 然后作者在预测的帧之间加上了周期一致性。回溯预测(retrospective)的基本思想是，如果预测的未来帧是真实的，即使预测的未来帧被作为输入给出，生成器也应该给出真实的过去帧

2 相关工作

预测图像模糊的原因，实战过的都知道，一部分锅在mse这个评估标准上，有篇论文叫做Deep multi-scale video prediction beyond mean square error提出了一个新的损失函数来解决这个问题。

对于GAN的研究: WGAN和LSGAN修改了discriminator的损失函数来提升训练的稳定性

3 解决方案

frame discriminator判别的是这帧是否是真实的，sequence discriminator判别的是是否这个序列里包含假的帧

使用正向生成一帧，再把它反向预测回去，再生成同样一帧，看前后对比，不能有太大差别 (这是同一个generator和sequence discriminator干的事)

首先要知道输入序列的数学表示:
X m : n = { x m , x m + 1 , … , x n }   s . t .   m < n \mathcal{X}_{m:n} = \{ x_m, x_{m+1}, \dots, x_n \} \, s.t. \, m < n Xm:n​={xm​,xm+1​,…,xn​}s.t.m<n
这是一个序列，包含了$n-m+1$张图片

• 在正向预测过程中, ${\mathcal{X}}_{m:n}$作为输入，生成器会输出$x_{n+1}^{\prime }$
• 在反向预测过程中, 先把刚才的输入全部反转:
  X ‾ m : n = { x n , x n − 1 , … , x m }   s . t .   m < n \overline \mathcal{X}_{m:n} = \{ x_n, x_{n-1}, \dots, x_m \} \, s.t. \, m < n Xm:n​={xn​,xn−1​,…,xm​}s.t.m<n
  此时生成器会生成$x_{m-1}^{\prime }$
• 将${\mathcal{X}}_{m:n}$中的$x_n$替换为$x_n^{\prime }$, 得到:
  X m : n f = { x m : n − 1 ∪ x n ′ } \mathcal{X}_{m:n}^f = \{ x_{m:n-1} \cup x_n' \} Xm:nf​={xm:n−1​∪xn′​}
  这里$x_n^{\prime }$是通过${\mathcal{X}}_{m-1:n-1}$来预测得到的，
  此时生成器会生成$x_{n+1}^{\prime \prime }$
• 将${\overline{\mathcal{X}}}_{m:n}$中的 $x_m$ 替换为 $x_m^{\prime }$ ，得到:
  X ‾ m : n f = { x ‾ m + 1 : n ∪ x m ′ } \overline \mathcal{X}_{m:n}^f = \{ \overline x_{m+1:n} \cup x_m' \} Xm:nf​={xm+1:n​∪xm′​}
  这里$x_m^{\prime }$是通过${\overline{\mathcal{X}}}_{m+1:n+1}$预测得到的，
  此时生成器会生成$x_{m-1}^{\prime \prime }$

总结下:
1 加了${}^f$代表序列中最后一帧是fake的
2 加了横线的序列代表反序
3 加了 ${}^{\prime }$ 的代表输入的全是真实帧
4 加了${}^{\prime \prime }$ 的代表输入的最后一帧是fake的(在正向过程中，滚动预测最后全是${}^{\prime \prime }$)

3.1 目标函数

此函数包含了两个重建损失(reconstruction losses)和两个对抗损失(adversarial losses)
$$L=L_{image}+{\lambda }_1{L}_{LoG}+{\lambda }_2{L}_{adv}^{frame}+{\lambda }_3{L}_{adv}^{seq}$$

3.1.1 Reconstruction losses

$$L_{image}=\sum _{(p,q)\in S_{m,n}^{pair}}{l}_1(p,q)$$

l1代表的是L1损失函数，即MAE，而$S_{m,n}^{pair}$代表以下序列(一共牵涉到两个timestep和6组图片):

S m , n p a i r = { ( x m , x m ′ ) , ( x m , x m ′ ′ ) , ( x m ′ , x m ′ ′ ) , ( x n + 1 , x n + 1 ′ ) , ( x n + 1 , x n + 1 ′ ′ ) , ( x n + 1 ′ , x n + 1 ′ ′ ) } \mathcal{S}_{m,n}^{pair} = \{ (x_m, x_m'),(x_m, x_m''),(x_m', x_m''), (x_{n+1}, x_{n+1}'), (x_{n+1}, x_{n+1}''), (x_{n+1}', x_{n+1}'') \} Sm,npair​={(xm​,xm′​),(xm​,xm′′​),(xm′​,xm′′​),(xn+1​,xn+1′​),(xn+1​,xn+1′′​),(xn+1′​,xn+1′′​)}
其中$(x_{n+1},x_{n+1}^{\prime })$和$(x_m,x_m^{\prime })$是为了最小化正向和反向预测过程中的预测误差
而$(x_{n+1},x_{n+1}^{\prime \prime })$和$(x_m,x_m^{\prime \prime })$是回顾误差(retrospective error), 因为$x_{n+1}^{\prime }$是用来预测$x_m^{\prime \prime }$的，而$x_m^{\prime }$是用来预测$x_{n+1}^{\prime \prime }$的
$(x_m^{\prime },x_m^{\prime \prime })$和$(x_{n+1}^{\prime },x_{n+1}^{\prime \prime })$是周期误差(cyclic)，因为分别是正向与反向生成的同一帧拿来作对比

再来看看下一个损失函数:
$$L_{LoG}=\sum _{(p,q)\in S_{m,n}^{pair}}{l}_1(LoG(p),LoG(q))$$
这个损失函数用Laplacian of Gaussian(LoG) 方法计算图片间的损失，来更好地保存图像的边缘(让它不会那么模糊)，文章中说是用来去噪(其实本质上还是用Laplacian卷积核来滤波)

3.1.2 Adversarial losses

对抗损失有两个: 帧对抗损失$L_{adv}^{frame}$和序列对抗损失$L_{adv}^{seq}$
帧对抗损失主要是为了分类看这一帧是真实的还是虚假的，具体的:
$$L_{adv}^{frame}=l_A({\mathcal{X}}_{m:n},x_{n+1})+l_A({\mathcal{X}}_{m:n}^f,x_{n+1})+l_A({\overline{\mathcal{X}}}_{m+1:n+1},x_m)+l_A({\overline{\mathcal{X}}}_{m+1:n+1}^f,x_m)$$

其中$l_A(p,q)=\underset{G}{\max }\underset{D_A}{\min }[(D_A(q)-1{)}^2+D_A(G(p){)}^2]$
这里$p$是$G$的输入序列, $q$是$G$的预测帧，这个损失函数是来自least square GAN (论文: Least squares generative
adversarial networks)

序列对抗损失是为了分辨一个输入序列是真实的还是虚假的:
$$L_{adv}^{seq}=l_B({\mathcal{X}}_{m:n},x_{m:n+1})+l_B({\mathcal{X}}_{m:n}^f,x_{m:n+1})+l_B({\overline{\mathcal{X}}}_{m+1:n+1},x_{m:n+1})+l_B({\overline{\mathcal{X}}}_{m+1:n+1}^f,x_{m:n+1})$$
其中$l_B(p,r)=\underset{G}{\max }\underset{D_B}{\min }[(D_B(r)-1{)}^2+(D_B(G_c(p)){)}^2]$ 输入是两个序列: