TPAMI 2024 | 基于事件相机的动作识别与基准测试

题目：Action Recognition and Benchmark Using Event Cameras

基于事件相机的动作识别与基准测试

作者：Yue Gao; Jiaxuan Lu; Siqi Li; Nan Ma; Shaoyi Du; Yipeng Li; Qionghai Dai

---

摘要

近年来，基于视频的动作识别取得了显著的成就。除了传统的基于帧的相机，事件相机是受生物启发的视觉传感器，它们只记录像素亮度变化而非亮度值。然而，在基于事件的动作识别方面所做的努力还很少，大规模的公共数据集也几乎不可用。在本文中，我们提出了一个名为 EV-ACT 的基于事件的动作识别框架。首次提出了可学习的多融合表示（LMFR），以可学习的方式整合多个事件信息。具有双重时间粒度的 LMFR 被送入基于事件的慢速-快速网络，用于融合外观和运动特征。引入了时空注意力机制，以进一步增强动作识别的学习能力。为了推动这一方向的研究，我们收集了最大的基于事件的动作识别基准测试集 THUE-ACT-50 以及在具有挑战性环境下收集的配套 THUE-ACT-50-CHL 数据集，总共超过 12,830 条记录，涵盖 50 个动作类别，是之前最