AAAI2024最佳解读|HARDVS Revisiting Human Activity Recognition with Dynamic Vision Sensors-water-merged

论文标题

HARDVS: Revisiting Human Activity Recognition with Dynamic Vision Sensors 动态视觉传感器的人类活动识别重温

论文链接

HARDVS: Revisiting Human Activity Recognition with Dynamic Vision Sensors论文下载

论文作者

Xiao Wang, Zongzhen Wu, Bo Jiang, Zhimin Bao, Lin Zhu, Guoqi Li, Yaowei Wang, Yonghong Tian

内容简介

本文提出了一个新的大规模基准数据集HARDVS，旨在解决基于事件的动态视觉传感器（DVS）的人类活动识别（HAR）领域中缺乏真实数据集的问题。HARDVS数据集包含超过10万个事件序列，涵盖300个日常活动类别，充分反映了现实世界中的挑战因素，如多视角、光照变化、运动速度和动态背景等。为了有效利用该数据集，本文还提出了一种新颖的时空特征学习和融合框架（ESTF），该框架通过Transformer网络对事件流进行空间和时间特征的学习与融合。实验结果表明，HARDVS数据集和ESTF框架在HAR任务中具有显著的有效性，为未来的研究提供了广泛的基线。

分点关键点1. HARDVS数据集

• HARDVS是第一个真实的大规模HAR基准数据集，包含超过10万个视频片段，涵盖300个类别，能够反映现实世界中的多种挑战因素。数据集的多样性体现在不同的捕获距离、光照条件和运动速度等方面，适合深度学习模型的训练和评估。

2. ESTF框架

   • ESTF（基于事件的时空Transformer）框架通过将事件流转换为空间和时间嵌入，利用Transformer网络进行特征学习和融合。该框架包括初始嵌入、空间和时间增强学习模块，以及融合Transformer模块，能够有效捕捉事件数据的空间相关性和时间依赖性。

3. 性能评估

   • 本文对多种流行的HAR算法在HARDVS数据集上的性能进行了评估，提供了广泛的基线供未来研究进行比较。实验结果验证了HARDVS数据集和ESTF框架在动态视觉传感器下进行人类活动识别的有效性。

4. 未来研究方向

   • HARDVS数据集的发布为基于事件的HAR研究提供了新的平台，未来的研究可以在此基础上探索更多的算法和应用场景，推动该领域的发展。

论文代码

代码链接：https://github.com/EventAHU/HARDVS

中文关键词

1. 人类活动识别
2. 动态视觉传感器
3. HARDVS数据集
4. 时空特征学习
5. Transformer网络
6. 事件流

AAAI论文合集：

AAAI论文合集

希望这些论文能帮到你！如果觉得有用，记得点赞关注哦~ 后续还会更新更多论文合集！！