video prediction深度学习算法汇总

SDC-Net：Video prediction using spatially-displaced convolution

ECCV2018，未开源，来自英伟达团队，看结构是vid2vid前身，与另一篇CVPR2019 oral 《Improving Semantic Segmentation via Video Propagation and Label Relaxation》，三者应该来自同一团队。

主要思想是希望结合vector based方法(光流融合类)和kernel based方法各自的优点，即vector based擅长捕捉大motion，kernel based方法擅长捕捉小细节(受kernel size限制无法建模large motion)。

vector-based可以理解为传统光流法的融合，文章使用双线性采样。

kernel-based很像卷积的操作，每个像素点给出一个与该像素点为中心的patch等大的核，与该patch卷积乘法后得到该像素点变换后的值。

本文则是提出两种方法结合起来的SDC-based，先vector-based，再kernel-based。

 

网络架构如图，本文借助训练好的FlowNet2作为光流生成工具，对输入序列计算光流后，与对应帧叠加，变成每帧为5个通道