题目:基于GAN 网络的面部表情识别
搜索源:知网
论文关键词:表情识别;深度学习;生成对抗网络GAN
应用:面部表情识别
摘要
本文:姿态不变,端到端,模型(姿态不同和表情,扩充训练集),GAN(生成对抗网络)
0 1 引言
面部表情识别 应用:心理学,教育,数字 娱乐,驾驶员监控
两阶段:特征提取,表情识别
目前:正面面部
要 解决:任意姿态
2 GAN网络的 面部表情识别方法
2.1 面部表情识别
过程:特征提取,表情识别
传统特征提取(SIFT,LBP,Gabor,Geometry)
本文:CNN
表情分类方法:SVM,KNN,随机森林
本文:GAN网络变体,生成图像(不同姿态表情),分类器嵌入到GAN网络中训练,端到端
2.2 生成对抗网络GAN
GAN:生成,判别 模型
生成模型:接受随机噪声,噪声生成数据或图片
判别模型:两类输入(生成噪声数据,现实中数据)
4 总结
文本:端到端模型,面部图像合成
题目:非正面人脸表情识别方法综述
搜索源:知网
论文关键词:非正面人脸表情识别; 人脸关键点; 外貌特征; 姿态相关;
摘要
人脸检测,头部姿态估计,特征提取,分类方法
非正面人脸 表情特征提取 ,分类
非正面人脸表情识别:人脸关键点 ,外貌特征, 姿态 相关
0 1 引言
应用:疲劳驾驶, 微笑 检测,网络视频分析,移动 手机服务
情感机器人,车载辅助系统,智能移动终端,互联网即时通信
五大难题:头部偏转(干扰情感认知 ),光照变化, 配准误差,面部遮挡,身份差异
2017年 IEEE国际自动人脸与手势识别会议(IEEE FG)的第三届人脸表情识别与分析挑战赛主题:头部偏转的表情识别
PAMI期刊的人脸表情识别综述:
之前综述:
- 罗列方法,缺乏原理和特点分析
- 指出面临难题,没说难在何处
2 非正面图像获取
标准数据库,自己采集拍摄,图像预处理(光照均衡化,尺度归一化),检测(判断人脸区域,头部偏转情况),提取表情特征,特征分类
样本维度:二维数据库(北航,中科院),三维数据库(有待发展)
数据库标记:表情,动作
3 非正面人脸检测
3.1 非正面人脸检测 方法
头部转角:
'< 45度:人脸检测方法处理非正面人脸
'> 45度:头部姿态变,五官分布变,用三维模型
多角度人脸数据不足,解决:
-
局部特征 :跟踪人脸局部区域 ,标记点。估计-校正-微调
全卷积网络FCN:估算标记点位置
点分布模型:生成人脸 标记点起始形状
均值漂移:确定人脸形状 -
整体特征:不同姿态,构建检验算子
-
深度特征: 不同姿态人脸调试的VGG-Face网络。肤色和背景颜色提取。卷积神经网络。
3.2 头部 姿态估计方法
姿态估计:水平转,头部垂直转,左右转
方法:外观模板法、检测阵列法、非线性回归法、流形嵌 入法、弹性模型法、几何法、跟踪法
对某姿态人脸建模(外观模板法,检测阵列法,弹性模型)
人脸特征提取(流形嵌入法,几何法)
4 非表情识别
题目:微表情识别方法综述
搜索源:知网
论文关键词:微表情识别; 特征提取; 微表情分类; 心理认知; 测谎; 计算机视觉; 计算机图像处理; 人脸识别; 主动表现模型; 人工智能; 局部约束模型; 视频监控;
摘要
应用:测谎,反恐,临床医学
0 1 引言
微表情持续时间:1 /25 ~ 1 /5 s,不由自主表情
微表情涉及:图像处理与分析、模式识 别 、计算机视觉 、计算机图像学 、人工智能 、生物学、心理学等方向
2 图像获取及预处理
预处理:人脸检测及配准、人脸 切割和图像归一化
前人:
ASM(主动形状模型):训练,搜索,优点(有序得到特征点,较高精确性和鲁棒性),缺点(局部最小)
AAM(主动表观模型,改进ASM):建立(形状,纹理,混合模型),缺点(侧脸,复杂场景差,局部最优,环境噪声缺乏鲁棒性)
CLM(局部约束模型):
人脸剪裁和切割:
剪裁:确定人脸矩形区域(面部特征,几何模型)
切割:特征点(联合级联法 检测27个面部特征)
灰度归一化, 光照归一化,尺度归一化(减少光照不均,尺寸不一致)
3 微表情检测,特征提取
特征提取方法 :梯度 ,运动,纹理,深度学习
梯度:方向梯度直方图:图像局部梯度方向构成特征
运动:鲁棒主成分分析与局部时空方向特征结合
纹理:反映本身属性,LBP(局部二值模式,描述图像局部纹理特征)
4 微表情分类
随机森林RF,极限学习机ELM,隐马尔可夫HMM,深度致信网络DBN
7 展望
不足:
- 微表情建库水平低
- 微表情表达特点 不明确
- 算法不成熟:特征融合、分类器结合,提出新特征分类,识别算法,提高性能
- 长视频 微表情实时检测 应用不足
题目:微表情识别综述
搜索源:知网
论文关键词:微表情;微表情识别
摘要
- 微表情好处:隐藏真实感受,真实表达,难以捕捉
- 应用:医疗,商业谈判,刑事审讯,人际交往,安检
- 现在热门:微表情检测与识别
- 难点:微表情强度弱,被环境影响,持续时间短,部位区域狭小不确定 ,传感器难 捕捉识别
0 1 微表情综述
- 微表情:时间短,不能控制隐藏的真实情感,防御机制
- 现状:表情识别成熟,迁移到微表情识别不好,要重新设计
微表情模型:METT
微表情数据库:CASME
2 微表情识别综述
- 微表情视频流检测
- 步骤:
预处理:原始数据模糊,轮廓检测,裁剪,对齐
特征值提取
特征值分类,贴标签
设计实验