PhysMamba：利用双流交叉注意力SSD进行远程生理测量

PhysMamba: Leveraging Dual-Stream Cross-Attention SSD for Remote Physiological Measurement

2408.01077 (arxiv.org)

PhysMamba是一种基于Mamba-2的双流时频交互模型，通过采用双流架构来学习不同的rPPG特征。此外，本文还引入了交叉注意力状态空间对偶（CASSD）模块，以提高在远程生理测量任务中的性能。rPPG是一种非接触式技术，可从人脸视频中提取生理信号，并应用于情绪监测、医疗救助和防止人脸欺骗等领域。与实验室环境不同，在真实环境下通常存在运动伪影和噪声等因素，这会影响现有方法的性能表现。为解决该问题，本文提出了PhysMamba作为解决方案。该模型集成了最先进的Mamba-2模型，并利用双流架构来学习不同的rPPG特征，从而增强其在嘈杂条件下的稳健性能。同时，本文设计了交叉注意力状态空间对偶（CASSD）模块以改善两个流之间信息交换和特征互补性。通过使用PURE、UBFC-rPPG和MMPD进行验证实验，结果显示PhysMamba在各种场景下都达到了最先进水平，并尤其在复杂环境中展示出其在实际远程心率监测应用中潜力巨大。