Multimodal——Paper精读笔记：A Hierarchical Multimodal Attention-based Human Activity Recognition Algorithm

HAMLET： A Hierarchical Multimodal Attention-based Human Activity Recognition Algorithm

Md Mofijul Islam, Tariq Iqbal

文章简介

两位作者均来自美国弗吉尼亚大学，系统与环境工程学院。
Email: {mi8uu,tiqbal}@virginia.edu
文章中了IEEE-IROS 2020，机器人领域四大顶会之一。

问题情景

Human activity recognition(HAR)，在人机交互的过程中，机器人可以通过不同的传感器获得各种模态的信息，但是如何利用不同模态的信息实现人行为识别仍然是一个具有挑战性的问题，因为到目前为止，并没有一个很好的方法可以把多模态信息融合到一起，fusion一直是多模态领域需要突破的方向。目前比较主流的融合方法包括concatenation, sum w/o wight以及基于attention机制的multi-head transformer layer。

如上图所示，attent