论文笔记(微表情识别):Micro-Attention for Micro-Expression Recognition

限制微表情识别准确性的两个方面:
(1) 面部小局部区域微表情的存在
(2) 可用数据集大小的局限性(目前许多微表情数据集都远小于喂入网络的其他数据集,这可能会导致眼中的过拟合问题)

为此,本文提出了一种微注意力与残差网络想结合的新的注意力机制。
(此种整合可以减少参数数量)

特征工程的方法更适合离线,端到端的方法更适合快速、实时、线上的场合。
(本文运用的是基于深度学习思想的用于微表情识别的端到端网络,在训练上实行了迁移学习减轻过拟合)

另:迁移学习对于使用源领域的知识来帮助目标领域的学习非常有用,尤其当目标规模很大时数据集太小而无法训练网络时。(解决了上面(2)的局限性)

一、方法
总述:
(1) 使用ResNet网络作为基本架构;
(2) 每个residual block中集成了一个新的微注意单元(专注于表现出微表情的面部区域);
(3) 使用迁移学习训练网络(减轻过拟合风险)。

1.ResNet
本文设计了十个残差块,每个块添加一个attention单元
一个残差块如下图所示:

  • 6
    点赞
  • 38
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
# 表情识别 > 2019.12更新了仓库依赖。 ## 简介 使用卷积神经网络构建整个系统,在尝试了Gabor、LBP等传统人脸特征提取方式基础上,深度模型效果显著。在FER2013、JAFFE和CK+三个表情识别数据集上进行模型评估。 ## 环境部署 基于Python3和Keras2(TensorFlow后端),具体依赖安装如下(推荐使用conda或者venv虚拟环境) - `git clone https://github.com/luanshiyinyang/ExpressionRecognition.git` - `cd ExpressionRecognition` - `pip install -r requirements.txt` ## 数据准备 数据集和预训练模型均已经上传到百度网盘,[链接](https://pan.baidu.com/s/1LFu52XTMBdsTSQjMIPYWnw)给出,提取密码为2pmd。 ## 项目说明 1. 传统方法 - 数据预处理 - 图片降噪 - 人脸检测 - HAAR分类器检测(opencv) - 特征工程 - 人脸特征提取 - LBP - Gabor - 分类器 - SVM 2. 深度方法 - 数据预处理 - 人脸检测 - HAAR分类器 - MTCNN(效果更好) - 卷积神经网络 - 用于特征提取+分类 ## 网络设计 使用经典的卷积神经网络,模型的构建主要参考2018年CVPR几篇论文以及谷歌的Going Deeper设计如下网络结构,输入层后加入(1,1)卷积层增加非线性表示且模型层次较浅,参数较少(大量参数集中在全连接层)。 ![](./asset/CNN.png) ![](./asset/model.png) ## 模型训练 主要在FER2013、JAFFE、CK+上进行训练,JAFFE给出的是半身图因此做了人脸检测。最后在FER2013上Pub Test和Pri Test均达到67%左右准确率(该数据集爬虫采集存在标签错误、水印、动画图片等问题),JAFFE和CK+5折交叉验证均达到99%左右准确率(这两个数据集为实验室采集,较为准确标准)。 训练过程见train.ipynb文件 ![](/asset/loss.png) ## 模型应用 与传统方法相比,卷积神经网络表现更好,使用该模型构建识别系统,提供GUI界面和摄像头实时检测(摄像必须保证补光足够)。预测时对一张图片进行水平翻转、偏转15度、平移等增广得到多个概率分布,将这些概率分布加权求和得到最后的概率分布,此时概率最大的作为标签。 注意,**GUI预测只显示最可能是人脸的那个表情,但是对所有检测到的人脸都会框定预测结果并在图片上标记,标记后的图片在results目录下**。 - GUI界面 - 运行scripts下的gui.py即可(图片来自百度,侵删。) - 效果图 - ![](./asset/rst_gui.png) - ![](./asset/rst_gui2.png) - 实时检测 - 运行scripts下的recognition_camera.py即可 - 效果图(图片来自百度,侵删。) - 演示不便 ## 补充说明 具体项目代码、数据集、模型已经开源于我的Github,欢迎Star或者Fork。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值