论文:《Optical Flow Guided Feature: A Fast and Robust Motion Representation for Video Action Recognition》
这篇论文主要贡献点有两个:1、提出了一种鲁棒性强速度快的运动信息表示特征OFF。2、提出了将OFF运用于端到端训练的网络结构。
OFF
简单的说,OFF即是光流向量的正交向量。由基本的光流约束方程:
可得向量F:
此时,向量F即是对应输入为RGB帧的OFF。不难看出,OFF省去光流计算后面需要的很多复杂步骤。
上面的I表示的是RGB帧的灰度值。但在论文中,作者并不是直接用I来计算OFF的,而是用
其表示原图I经过f映射函数得到得初始特征。