论文笔记(微表情识别):Micro-Attention for Micro-Expression Recognition

本文针对微表情识别的难点,如面部局部微表情和数据集大小,提出了一种结合微注意力机制和残差网络的新方法。通过在ResNet架构中集成微注意单元并应用迁移学习,有效减少了过拟合,提高了识别准确性。在CASMEII, SAMM和SMIC数据集上的实验验证了该方法的有效性。" 6889696,893872,使用quartus II创建ROM,"['FPGA', '硬件描述语言', '编译器', 'VHDL', ' Quartus']

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

限制微表情识别准确性的两个方面:
(1) 面部小局部区域微表情的存在
(2) 可用数据集大小的局限性(目前许多微表情数据集都远小于喂入网络的其他数据集,这可能会导致眼中的过拟合问题)

为此,本文提出了一种微注意力与残差网络想结合的新的注意力机制。
(此种整合可以减少参数数量)

特征工程的方法更适合离线,端到端的方法更适合快速、实时、线上的场合。
(本文运用的是基于深度学习思想的用于微表情识别的端到端网络,在训练上实行了迁移学习减轻过拟合)

另:迁移学习对于使用源领域的知识来帮助目标领域的学习非常有用,尤其当目标规模很大时数据集太小而无法训练网络时。(解决了上面(2)的局限性)

一、方法
总述:
(1) 使用ResNet网络作为基本架构;
(2) 每个residual block中集成了一个新的微注意单元(专注于表现出微表情的面部区域);
(3) 使用迁移学习训练网络(减轻过拟合风险)。

1.ResNet
本文设计了十个残差块,每个块添加一个attention单元
一个残差块如下图所示:
ResNet的经典残差块结构
2. Micro-Attention Unit(微注意单元)
设计此单元时要考虑三个因素:
a.注意单元可训练;
b.不会增加明显的参数;
c.学习注意单

# 表情识别 > 2019.12更新了仓库依赖。 ## 简介 使用卷积神经网络构建整个系统,在尝试了Gabor、LBP等传统人脸特征提取方式基础上,深度模型效果显著。在FER2013、JAFFE和CK+三个表情识别数据集上进行模型评估。 ## 环境部署 基于Python3和Keras2(TensorFlow后端),具体依赖安装如下(推荐使用conda或者venv虚拟环境) - `git clone https://github.com/luanshiyinyang/ExpressionRecognition.git` - `cd ExpressionRecognition` - `pip install -r requirements.txt` ## 数据准备 数据集和预训练模型均已经上传到百度网盘,[链接](https://pan.baidu.com/s/1LFu52XTMBdsTSQjMIPYWnw)给出,提取密码为2pmd。 ## 项目说明 1. 传统方法 - 数据预处理 - 图片降噪 - 人脸检测 - HAAR分类器检测(opencv) - 特征工程 - 人脸特征提取 - LBP - Gabor - 分类器 - SVM 2. 深度方法 - 数据预处理 - 人脸检测 - HAAR分类器 - MTCNN(效果更好) - 卷积神经网络 - 用于特征提取+分类 ## 网络设计 使用经典的卷积神经网络,模型的构建主要参考2018年CVPR几篇论文以及谷歌的Going Deeper设计如下网络结构,输入层后加入(1,1)卷积层增加非线性表示且模型层次较浅,参数较少(大量参数集中在全连接层)。 ![](./asset/CNN.png) ![](./asset/model.png) ## 模型训练 主要在FER2013、JAFFE、CK+上进行训练,JAFFE给出的是半身图因此做了人脸检测。最后在FER2013上Pub Test和Pri Test均达到67%左右准确率(该数据集爬虫采集存在标签错误、水印、动画图片等问题),JAFFE和CK+5折交叉验证均达到99%左右准确率(这两个数据集为实验室采集,较为准确标准)。 训练过程见train.ipynb文件 ![](/asset/loss.png) ## 模型应用 与传统方法相比,卷积神经网络表现更好,使用该模型构建识别系统,提供GUI界面和摄像头实时检测(摄像必须保证补光足够)。预测时对一张图片进行水平翻转、偏转15度、平移等增广得到多个概率分布,将这些概率分布加权求和得到最后的概率分布,此时概率最大的作为标签。 注意,**GUI预测只显示最可能是人脸的那个表情,但是对所有检测到的人脸都会框定预测结果并在图片上标记,标记后的图片在results目录下**。 - GUI界面 - 运行scripts下的gui.py即可(图片来自百度,侵删。) - 效果图 - ![](./asset/rst_gui.png) - ![](./asset/rst_gui2.png) - 实时检测 - 运行scripts下的recognition_camera.py即可 - 效果图(图片来自百度,侵删。) - 演示不便 ## 补充说明 具体项目代码、数据集、模型已经开源于我的Github,欢迎Star或者Fork。
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值