2 Our Approach
和传统的光流网络不同,此网络使用3个输入,the frames at times t-1, t, and t+1,可以计算出(t,t+1)的前向光流场(forward flow
),和后向光流场(t-1,t)(backward flow)。在得到前向后向光流场之后,通过双向一致性检查(bi-directional consistency check
前向后向)来过滤异常值。这种滤除异常值的方法需要额外的计算光流场,也就是说(t,t+1),(t+1,t)的光流场都要被计算,这样可以使得我们识别出遮挡区域。基于滤除异常值之后,前向后向光流场都可以获得的区域,我们可以获得一个模型,此模型可以从后向光流场中推测出前向光流场。可以给我们额外的信息,这个额外的信息就是说在后向光流场中有光流的区域,而到了前向光流场中没有光流信息的区域。最后结合,以便在没有初始前向 光流的情况下也能正常工作。最后对预测inpaint以获得稠密光流场,在对此稠密光流场refine以提高精度。流程如下图