[论文笔记] Temporal RoI Align 阅读笔记

Temporal ROI Align for Video Object Recognition（AAAI 2021）

论文链接：论文链接
代码链接：mmdetection代码

这篇文章提出了Temporal RoI Align方法，用来对视频进行目标检测，充分利用帧与帧之间的时间信息

摘要

• 同一物体的特征在视频中各帧之间高度相似，因此提出了Temporal RoI Align
• 通过特征的相似性从其他帧的特征图中提取当前frame proposal的特征，甚至可以从整个视频中提取时间信息

引言

• 图解Temporal RoI Align
  

Temporal RoI Align

• Temporal RoI Align 图解
  
• MS RoI 图解
  
  ** Temporal Attentional Feature Aggregation（TAFA） 图解
  

实验结果

• Temporal RoI Align 参数选择
  
• TAFA 的效果
  
• 对比 Non-local
  
• K 和 N 的选择
  
• 应用在 SELSA 上的结果
  
• 对比其他 SOTA 模型
  
• EPIC KITCHENS 测试集表现
  
• 应用在 MT R-CNN 上的结果