论文下载链接:
EPIC-Fusion: Audio-Visual Temporal Binding for Egocentric Action Recognition
主要思想
- 使用 Audio-Vision-Flow 3种模态数据
- 作为输入的3种数据在时序上不同步,但时差在一定范围内
- 在网络中段进行数据融合,即mid-fusion
简介
文章使用EPIC-KITCHEN数据集,包括3种模态数据,分别为video,audio,motion。其中motion数据是从video数据种计算得出的optical flow。
audio数据的优点在于能够捕捉丰富的手物交互时产生的声音。尤其当交互过程中会发出特征明显的声音时(如油煎食物),audio数据能够提取有效特征。且当动作不在视野内时也能发挥作用。而同时使用其他两种模态数据又能降低环境噪声对识别的影响。
使用不同步的输入数据启发于生物科学对人类神经和行为的研究,模仿了人类大脑中的相似结构。
文章提出了新的多传感器融合方法以及基于TSN改进的网络结构。
算法流程
首先,将输入的video等分为K段,在每段里随机选取一帧, m 1 k m_{1k} m