交互关系超图卷积模型的双人交互行为识别

摘要: 为提高学校、商场等公共场所的安全性，实现对监控视频中的偷窃、抢劫和打架斗殴等异常双人交互行为的自动识别，针对现有基于关节点数据的行为识别方法在图的创建中忽略了2个人之间的交互信息，且忽略了单人非自然连接关节点间的交互关系的问题，提出一种基于交互关系超图卷积模型用于双人交互行为的建模与识别。首先针对每一帧的关节点数据构建对应的单人超图以及双人交互关系图，其中超图同时使多个非自然连接节点信息互通，交互关系图强调节点间交互强度。将以上构建的图模型送入时空图卷积对空间和时间信息分别建模，最后通过SoftMax分类器得到识别结果。该算法框架的优势是在图的构建过程中加强考虑双人的交互关系、非自然连接点间结构关系以及四肢灵活的运动特征。在NTU数据集上的测试表明，该算法得到了97.36%的正确识别率，该网络模型提高了双人交互行为特征的表征能力，取得了比现有模型更好的识别效果。

• 关键词: 
• 双人交互  /  
• 行为识别  /  
• 关节点数据  /  
• 深度学习  /  
• 时空图卷积网络  /  
• 超图  /  
• 图结构  /  
• 神经网络  

随着计算机科学技术的迅速发展，基于视频的双人交互行为识别已经成为计算机视觉领域的研究热点[1-2]，且取得了一定的研究进展。