CVPR2021 MotionRNN: A Flexible Model for Video Prediction with Spacetime-Varying Motions

动机

1、现实世界的运动是非常复杂的，总是在空间和时间上变化。在降水预报中，要准确预测随时空变化的运动，如雷达回波的变形、积累或消散，具有极大的挑战性。

2、最新的已知的视频预测模型，如PredRNN、MIM和Conv-TT-LSTM，主要关注于捕捉随时间的变化简单的状态转换。它们忽略了运动中复杂的变化，所以在高度变化的情况下不能准确地预测。

3、基于光流的方法使用局部不变状态转换来捕捉短期的时间依赖性，但缺乏对长期运动趋势的表征。当建模不断变化的运动时，这些方法的效果可能会严重退化。

4、本文发现，物理世界的运动可以自然地分解为瞬态变化和运动趋势。考虑到运动的分解，应该捕捉运动的瞬态变化和运动趋势，以便更好地进行时空变运动预测。

瞬态变化可以看成是各局部区域瞬时的变形、耗散、速度变化等变化。例如，当一个人跑步时，身体的不同部位会随着时间发生各种短暂的运动变化，例如左右腿交替向前走。而且，自然的时空过程，特别是物理运动也遵循着这一规律。视频的运动趋势可以看成是运动遵循视频序列中物理世界背后的特征，例如物体的惯性，雷达回波的气象学，或其他物理定律。

方法

提出了一种新的MotionRNN框架。为了能够对时空变化的运动进行更有表现力的建模，MotionRNN设计了MotionGRU单元，用于高维隐藏状态的转换，该单元分别被专门设计用来捕捉瞬态变化和运动趋势。受ResNet中残差shortcuts的启发，在提出的框架内跨层次改进了运动Highway，以防止捕获的运动消失，并为MotionRNN提供有用的上下文时空信息。MotionRNN是灵活的，可以很容易地适应现有的预测模型。

MotionRNN&#