精读“使用浅卷积神经网络识别面部表情”

文献精读笔记

标题

2-使用浅卷积神经网络识别面部表情

作者

Simiao

期刊

IEEE

发表时间

2019

具体研究内容                         

基于卷积神经网络(CNN)的方法在进行微表情识别时存在两个关键问题。首先,它们通常依赖于非常深的架构,过度适合小数据集。然而,可靠的表达式比较难收集,相关的数据集通常比较小。其次,对于微表情,这些方法通常会忽略微表情的时间冗余性,从而降低时间复杂度。在本文中,我们提出了一种浅层CNN (SHCNN)架构,它只有三层,可以同时对静态表达式和微表达式进行分类,而不需要大量的训练数据集。

研究方法/思路

微表情的数据集都较小,并且高分辨率的表达式很难收集;微表情片段很短有时间冗余,即帧之间没有太大的差异。本文利用时间冗余,可以简化神经网络,以更好地拟合更少的样本,Temporal插值模型(TIM)用来减少视频帧数,甚至有些研究只使用了Apex帧数;UCF-101[11]数据集和HMDB51[15] -[17]数据集通常比较大;时空结构使用大量的参数eter来适应微表情中的时间关系。然而,微表情中的时间关系是非常简单的。包含在连续帧中的表达式非常相似。因此直观上,我们应该设计一个较浅的网络,较低的时间复杂度。基于顶点框架的方法注意到时间的重复dancyLi et al.[6]和Zhang et al.[7]只使用接近顶点帧进行训练。然而,这些方法面临一个问题。即使使用所有帧,训练样本也很少。如果我们只使用顶点帧(或靠近顶点帧的帧)而丢弃其他帧,就会放弃很多有用的信息。在其他框架中,许多有用的信息被放弃了。

所以为了解决传统方法的性能不足和过拟合问题和基于顶点帧的方法的信息缺失问题,我们提出一种浅层CNN,命名为SHCNN;首先采用TV-L1光流代替时间结构提取时间特征,放弃了FlowNet2[20],因为它的速度慢;对于每一个n帧的视频,我们计算第一帧和最后n-1帧之间的光流,得到n-1个光流图像,然后利用SHCNN对每个光流图像进行分类;SHCNN不包含时空结构。

SHCNN 是对光流图像进行分类而不是直接对帧进行分类

研究创新点

•我们建议使用一个浅层网络(SHCNN),该网络解决了相对较小的数据集的过拟合问题。

•我们提出了一个简单但实用的管道(图2),没有深层的时空结构。该流水线可以充分利用微表情中的时间冗余。

•研究了原始显著性映射[21]的消失梯度问题。此外,我们通过引入收缩因子来改进显著性图,以更好地可视化SHCNN。

•在5个公共数据集(FER2013, FERPlus, CASME, CASME II, SAMM)上的实验表明,我们的方法优于最先进的技术。

研究结论

三个微表情数据集(CASME、CASME II 和 SAMM)的结果如表 10 所示。表 10 显示直接对视频帧进行分类会得到不令人满意的准确度。当我们使用 FERPlus 的预训练权重对来自微表情的帧进行分类时,我们发现大多数帧(~ 95%),甚至一些顶点帧(图 12)都被识别为“中性”。微表情体现在动作中,因此通过光流突出动作至关重要。

本文方法不仅精度高,而且 F1-Score 最高,这意味着它能够处理极其不平衡的数据。尽管 DiSTLBP-IIP 的准确率更高,但它只涉及四个类别,而我们的方法涉及五个类别。

们发现仅使用没有时空架构的 SHCNN 足以获得更好的结果。

受有限的训练样本和时间冗余的启发,我们提出了没有像 LSTM 和 3D 卷积这样的深度时间架构的 SHCNN。一些研究,如基于 Apex 帧的 CNN,确实避免了这些架构并取得了良好的结果。然而,他们也放弃了一些训练图像和有用的信息,从而加剧了“数据饥饿”问题并损害了性能。相反,SHCNN 能够充分利用训练样本。此外,SHCNN 简单,可用于静态表情识别。

对五个数据集(FER2013、FERPlus、CASME、CASME II 和 SAMM)的广泛实验表明,浅层架构(SHCNN)能够同时学习静态 VOLUME 7, 2019 78009 S. Miao et al.: Recognizing Facial Expressions Using a Shallow卷积神经网络表达式和微表达式。此外,我们研究了 Simonyan 等人提出的原始显着性图的梯度消失问题。[21](等式 4)并提出改进的显着性图(等式 10)来缓解该问题。

研究不足与展望

引用内容

借鉴价值

提出了一种浅层神经网络(只有三层)可以对视频和图片进行光流特征的识别,首先采用TV-L1光流代替时间结构提取时间特征,放弃了FlowNet2[20],因为它的速度慢;对于每一个n帧的视频,我们计算第一帧和最后n-1帧之间的光流,得到n-1个光流图像,然后利用SHCNN对每个光流图像进行分类;SHCNN不包含时空结构。引入收缩因子来改进显著性图,以更好地可视化SHCNN。

  • 2
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值