ProFlow: Learning to Predict Optical Flow

2 Our Approach

和传统的光流网络不同，此网络使用3个输入，the frames at times t-1, t, and t+1，可以计算出(t,t+1)的前向光流场（forward flow
），和后向光流场(t-1,t)（backward flow）。在得到前向后向光流场之后，通过双向一致性检查(bi-directional consistency check
前向后向)来过滤异常值。这种滤除异常值的方法需要额外的计算光流场，也就是说(t,t+1),(t+1,t)的光流场都要被计算，这样可以使得我们识别出遮挡区域。基于滤除异常值之后，前向后向光流场都可以获得的区域，我们可以获得一个模型，此模型可以从后向光流场中推测出前向光流场。可以给我们额外的信息，这个额外的信息就是说在后向光流场中有光流的区域，而到了前向光流场中没有光流信息的区域。最后结合，以便在没有初始前向 光流的情况下也能正常工作。最后对预测inpaint以获得稠密光流场，在对此稠密光流场refine以提高精度。流程如下图

2.1 Initial Flow Estimation / Baseline

 第一步，我们要获得前向后向的初始光流，也就是(t,t+1)，(t,t-1)时刻的光流。介