表情识别——Covariance Pooling for Facial Expression Recognition

最新推荐文章于 2024-08-05 18:33:36 发布

丽宝儿

最新推荐文章于 2024-08-05 18:33:36 发布

阅读量3.2k

点赞数 5

分类专栏：表情识别文章标签：协方差表情识别 CVPR2018

本文链接：https://blog.csdn.net/heruili/article/details/88322472

版权

本文介绍了将协方差池化应用于面部表情识别，提出使用流形网络结构进行协方差合并，提高了识别准确率。在SFEW 2.0和RAF数据库上取得了最佳结果，证明了二阶统计量在表情识别中的优势。

摘要由CSDN通过智能技术生成

表情识别——Covariance Pooling for Facial Expression Recognition

Covariance Pooling for Facial Expression Recognition
CVPRW.2018
摘要：将面部表情分类为不同类别需要捕获面部关键点的区域扭曲。我们认为，协方差等二阶统计量能够更好地捕捉区域面部特征中的这种扭曲。在这项工作中，我们探索了使用流形网络结构进行协方差合并以改善面部表情识别的好处。特别地，我们首先将这种类型的流形网络与传统的卷积网络结合使用，以便以端到端的深度学习方式在各个图像特征映射内进行空间汇集。通过这样做，我们能够在野外静态面部表情（SFEW 2.0）的验证集上实现58.14％的识别准确度，在真实世界情感面部（RAF）数据库1的验证集上实现87.0％的识别准确度。这些结果是我们所知的最佳结果。此外，我们利用协方差池来捕捉基于视频的面部表情识别的每帧特征的时间演变。我们报告的结果证明了通过在卷积网络层之上堆叠设计的协方差池的流形网络来暂时汇集图像集特征的优点。
Introduction
面部表情在传达我们的思想状态中起着重要的作用。人类和计算机算法都能从对面部表情进行分类中获益。自动面部表情识别的可能应用包括更好地转录视频、电影或广告推荐、远程医疗中的疼痛检测等。
传统的卷积神经网络(CNNs)使用卷积层、最大或平均池和全连通层，只捕获一阶统计量[25]。二阶统计量(如协方差)被认为是比一阶统计量(如平均或最大[20])更好的区域描述符。

如上图所示，面部表情识别更直接地与面部特征点的变形有关，而不是与特定特征点的存在与否有关。我们认为，二阶统计量比一阶统计量更适合捕捉这种扭曲。为了深入学习二阶信息，我们引入最后一个卷积层后的协方差池化。为了进一步降维，我们从流形网络[11](manifold network)中借用概念，并与传统的CNNs一起进行端到端训练。需要指出的是，这并不