光流,raft
伪代码
corr 计算
初始化光流flow
for i range(iters):
1. 用光流flow对corr做warp,得到运动特征,motionF
2. 对运动特征和flow做编码motionF2
3. cat(motionF2, F当前图片的特征)到GRU模块
4. Flow输出
总结:
- 增加一次corr计算
- iters warp
- iters GRU+flow out
自己想的简化版
corr模块的计算需要自己实现,而且应该很耗时。想着只是使用前一帧的flow做一个corse to fine 的模块进行光流修正。