双流增强融合网络微表情识别

摘要: 为解决微表情识别领域数据集样本数量少，样本类型分布不均导致识别率鲁棒性差的问题，提出了一种基于双流增强网络的微表情识别模型。该模型基于单帧RGB图像流及光流图像流的双流卷积神经网络，以权威数据集为基础，数据增强为基准，构建微表情识别模型。通过在SoftMax逻辑回归层融合单帧空域信息和光流时域信息，对两个独立流的网络性能进行提升，并通过引入基于带循环约束的生成对抗网络的图像生成方式对数据集进行扩充。通过将输入微表情视频帧序列进行分解，将其分割为双流网络的灰度单帧序列与光流单帧序列，对两类序列图进行数据增强，再进行微表情识别模型构建的方法，有效提高了微表情识别率。基于双流增强网络的微表情识别模型可以较好提升微表情识别准确度，鲁棒性较好，泛化状态较稳定。

• 关键词: 
• 微表情  /  
• 双流网络  /  
• 生成对抗网络  /  
• 数据增强  /  
• 特征融合  /  
• 模式识别  /  
• 卷积神经网络  /  
• 循环约束  

面部微表情（facial micro-rxpression，FME）是引发隐藏某种真实情绪的短暂和不自主的快速面部表情[1]。微表情与宏表情不同，它不受大脑控制，脱离意识支配，是最真实的内心感受和心理状态的折射。标准的微表情持续时间在1/5 s到1/25 s之间，通常只发生在脸部的特定部位。以往对微表情的分析需要通过相当有经验的专业人士，长时间细致的观察才能做出判断。近年来，借助人工智能技术的发展和计算机视觉与模式识别技术在表情及微表情分析领域的不断突破，智能实时快速微表情识