Do Deep Neural Networks Learn Facial Action Units When Doing Expression Recognition?论文笔记

最新推荐文章于 2021-11-25 17:05:20 发布
最新推荐文章于 2021-11-25 17:05:20 发布
阅读量868 收藏 2
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yinghua2016/article/details/77341214
版权
研究发现，通过在面部表情数据集上训练零偏CNN，不仅实现了表情识别的先进性能，而且通过网络过滤器可视化揭示了学习到的特征与面部动作单元（FAU）高度对应。实验表明，CNN在情绪识别任务中可能隐含地检测到特定的FAU。
摘要由CSDN通过智能技术生成

                                   Do Deep Neural Networks Learn Facial Action Units When Doing Expression Recognition?

摘要：

  首先，我们对面部表情数据进行零偏CNN训练，并根据我们的知识，在两个表达式识别基准上实现最先进的表现：扩展Cohn-Kanade（CK +）数据集和多伦多面部数据集（TFD） 。然后，我们通过可视化最大程度地激发卷积层中的不同神经元的空间模式来定性分析网络，并显示它们如何类似于面部动作单元（FAU）。最后，我们使用CK +数据集中提供的FAU标签来验证在我们的过滤器可视化中观察到的FAU确实与被摄取的面部动作一致。

1. 引言

Paul Ekman提出了面部动作编码系统（FACS），其中列举了这些区域，并描述了每个面部表情如何被描述为多个动作单元（AU）的组合，每个动作单元对应于脸部特定的肌肉组。 然而，让计算机准确地学习传达情感的脸部部分被证明是一件不平凡的事情。
  以前的面部表情识别工作可以分为两大类：基于AU的/基于规则的方法和基于外观的方法。 基于AU的方法将明确地检测个体AU的存在，然后基于Friesen和Ekman提出的组合对一个人的情感进行分类。 不幸的是，每个AU检测器都需要仔细的手工工程来确保良好的性能。 另一方面，基

最低0.47元/天 解锁文章
yinghua2016
关注
阅读 CVPR 2018 papers on detecting facial action units
eglxiang的博客
08-17 1176
List   1. Learning Facial Action Units From Web Images With Scalable Weakly Supervised Clustering   2. Weakly Supervised Facial Action Unit Recognition Through Adversarial Training   3. Optimizing ...
Facial-Action-Unit-Detection
04-18
面部动作单位检测 面部动作单元（FAU）是面部的特定区域，可让人们估计图像中所经历的情绪的强度和类型。 FAU编码系统中的每个面部运动都通过其在面部的出现进行编码。 AU编码从0开始并在28结束，第0个编码代表一个中性的面Kong。 尽管在FAU编码系统中存在各种FAU，但大多数应用程序仅使用其中的一些来描述情绪。 这些FAU通常称为主要FAU。 例如，组合在一起的颊部增高（AU6）和唇角牵拉（AU12）的AU代码会带来幸福感（AU6 + 12）。 作为另一示例，该AU码内眉头加注（AU1），眉低（AU4）和唇角压低（AU15）一起得到悲伤（AU1 + 4 + 15）的情感。 AU代码从0开始并在28结束，第0代码对应于中性面。 可以在上找到AU代码及其对应的面部表情的完整列表。 对在BP4D FAU数据集上预先训练的深度ResNet架构进行了轻微修改，即可预测面部表情的强度。 每个AU
Facial Action Unit Intensity Estimation via Semantic Correspondence Learning with Dynamic Graph Conv
o0Helloworld0o的博客
04-29 1113
Proposed Methodology Heatmap Regression 将预测AU intensity vector的问题转换为预测multiple AU heatmaps Fig.2给出了每一个AU的central location Q：每一个点都应该由68个landmarks通过某些规则计算得到的吧，文中没有仔细说明 ...
Self-supervised Representation Learning from Videos for Facial Action Unit Detection(CVPR 2019)
language_zcx的博客
05-24 1570
Self-supervised Representation Learning from Videos for Facial Action Unit Detection(CVPR 2019) Paper PDF 文章目录IntroductionInnovationMethodFeature disentanglingTarget reconstructionCycle with AU/pose changedExperimentImplementation details DetailedCompariso
Learning Guided Attention Masks for Facial Action Unit Recognition 阅读笔记
qq_44465615的博客
01-26 553
目标：减小人类和机器对于表情的感知差异 方法：提出一种引导注意力机制，以方便网络获取面部重要特征。从AU中学习注意力映射。 使用数据集： BP4D, MMSE and DISFA 结构： 如图1，使用4个密集块组成的Densenet，第二块的输出连接到掩蔽网络，该网络为给定的样本学习适当的AU引导掩码。学习到的掩码进一步添加到块2的输出，以注意力加强的特征表示。 使用Densenet进行特征提取： Densenet属于使用剩余连接的一类网络。具体来说，就是densenet每一层都连接到同一块内的后续层。如
ICCV2015论文 Joint Fine-Tuning in Deep Neural Networks for Facial Expression Recognition解析
qq_32528489的博客
08-20 1749
1、主要贡献 提出了一种基于深度神经网络的表情识别新方案（DTAGN），首先构建DTAN（deep temporal appearance network）网络和DTGN（deep temporal geometry network）网络，分别获取输入图像序列的人脸外貌特征和人脸关键点几何特征，然后通过一个融合网络，实现表情特征融合与识别。该方案适用于训练数据集不充分的情况。 2、实现过程 ...
How transferable are features in deep neural networks? 论文笔记
Jayxbx的博客
07-10 7524
0 摘要     在自然图像上训练的深度神经网络都表现出一种奇怪的现象：模型第一层的参数和Gabor filters的参数非常相似（也就是说模型拥有经典图像算法中具有的优秀性质，Gabor filter是比较通用的滤波器，也就是说模型在一开始也要完成一些常规模式的计算过程，这一点和经典图像算法是一样的）。第一层的特征并不是特定于某一数据集或者某一任务，而是...
DeepID3: Face Recognition with Very Deep Neural Networks英文论文翻译
03-15
人脸识别论文，手动翻译，花费两天时间希望可以帮助到大家 DeepID3: Face Recognition with Very Deep Neural Networks Yi Sun1 Ding Liang2 Xiaogang Wang3,4 Xiaoou Tang1,4
Deep Neural Networks are Easily Fooled
10-19
Deep neural networks (DNNs) have recently been achieving state-of-the-art performance on a variety of pattern-recognition tasks, most notably visual classification problems.
数据集：TFDS是准备与TensorFlow，Jax等一起使用的数据集的集合。
02-04
TensorFlow数据集 TensorFlow数据集提供许多公共数据集，例如tf.data.Datasets 。 文献资料 要安装和使用TFDS，我们强烈建议从我们的。 在中以交互方式进行尝试。 我们的文档包含： 所有列表 # !pip install tensorflow-datasets import tensorflow_datasets as tfds import tensorflow as tf # Construct a tf.data.Dataset ds = tfds . load ( 'mnist' , split = 'train' , as_supervised =
Do Deep Neural Networks Learn Facial Action Units When Doing Expression Recognition?阅读笔记
啊呀哦哟的博客
11-07 1170
Do Deep Neural Networks Learn Facial Action Units When Doing Expression Recognition?阅读笔记 相比之下，我们的工作是对单一图像的表情识别，并将重点分析网络学习到的特征。因此，我们不仅将证明CNN对现有表情分类基线的有效性，而且我们还将定性地表明，该网络能够学习人脸图像中对应于面部动作单元(FAUs)的空间模式。
论文评析-Incremental Boosting Convolutional Neural Network for Facial Action Unit Recognition，NIPS, 2016
MasterQKK
04-16 466
Incremental Boosting Convolutional Neural N1.AU训练集小导致训练的CNN model泛化能力差，作者提出了**Incremental Boosting CNN (IB-CNN)**： 通过**Incremental boosting layer**将**boosting tree**与**CNN**进行结合。 2.综合考虑**Incremental boosting classifier**与各个**weak classifier**提出了新的损失函数用于训练。
论文复现报告：Deep Region and Multi-label Learning for Facial Action Unit Detection
scut_salmon的博客
12-20 5408
论文复现报告：Deep Region and Multi-label Learning for Facial Action UnitDetection 第一次跑caffe代码，纯属自我练习，顺便记下一点心得和发现。此次复现参考自http://blog.csdn.net/u011668104/article/details/77412332感谢前人的分享。 严格来讲我跑了三遍caffe。
CVPR: Bilateral Ordinal Relevance Multi-instance Regression for Facial Action Unit Intensity
cassiePython的专栏
07-05 792
Bilateral Ordinal Relevance Multi-instance Regression for Facial Action Unit Intensity Estimation Abstract 问题： 捕捉面部表情的微小表化很困难； AU强度的标注费时费力。 本文： 提出弱监督的BORMIR模型：weakly supervised regression mod...
2015 ICCV以及ICCV Workshop中有关Action Units(AU)检测和Facial landmark检测的文章总结
程序媛
04-10 4228
好记性不如烂笔头，记录一下重点部分，方便以后查找   有AU标记的数据集：CK+，DISFA，BP4D   有关AU检测的文章整理 1，ICCV 2015 HSHTL， Ruiz A, Weijer J V D, Binefa X. From Emotions to Action Units with Hidden and Semi-Hidden-Task Learning[C]// I...
Action Unit到底是什么？
landing_guy_的博客
11-25 2160
介绍action_unit
论文读书笔记-Action unit classification using active appearance models and conditional random fields
无知的我
11-10 1857
标题：Action unit classification using active appearance models and conditional random fields 本篇论文主要介绍了现代计算机视觉和机器学习技术在多大程度上能够帮助社会心理学家对人脸自动识别领域进行研究。在这篇论文中，作者提到了线性链条件随机域模型这个概念，这也正是机器学习中经常使用的一个的模型。借助这一模型，可
关于face action unit 你想知道都在这里
weixin_42973547的博客
08-18 1025
1. Face aciton unit（FAU）是什么？ 2.数据集有哪些？ 3. 预测FAU的算法有哪些？ 4.应用有哪些？ 5.研究热点是什么？
How transferable are features in deep neural networks?怎么引用
最新发布
06-12
如果您要在学术论文或其他类似的文献中引用 "How transferable are features in deep neural networks?" 这篇论文，可以按照以下格式进行引用： Yosinski, J., Clune, J., Bengio, Y., & Lipson, H. (2014). How ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值