【论文阅读】AU检测|《Deep Adaptive Attention for Joint Facial Action Unit Detection and Face Alignment》

最新推荐文章于 2023-03-11 16:41:35 发布

夏生_

最新推荐文章于 2023-03-11 16:41:35 发布

阅读量4.1k

点赞数 4

分类专栏：论文阅读文章标签： cv 深度学习

本文链接：https://blog.csdn.net/qq_43521527/article/details/113440970

版权

该论文提出了一种端到端的深度学习框架JAA-Net，用于同时进行面部动作单元(AU)检测和面部对齐。通过利用面部对齐的高级特征来增强AU检测，以及采用自适应注意力学习模块优化每个AU的注意力分布，JAA-Net在BP4D和DISFA数据集上表现优越，超越了现有方法。这一框架包括层次和多尺度区域学习、面部对齐、全局特征学习及自适应注意力学习四个模块，旨在提高AU检测的准确性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

《Deep Adaptive Attention for Joint Facial Action Unit Detection and Face Alignment》（ECCV 2018）
论文链接

摘要

面部动作单元检测和面部对齐是两个高度相关的任务，因为面部关键点可以提供精确的面部动作单元位置，以便于提取有意义的局部特征用于面部动作单元检测。大多数现有的AU检测工作通常将面部对齐作为预处理，并独立处理这两项任务。在本文中，提出了一种新的端到端深度学习框架，用于联合AU检测和面部对齐，这是以前没有探索过的。特别是，首先学习到的是多尺度共享特征，然后将面部对齐的高级特征输入到人脸检测中。此外，为了提取精确的局部特征，提出了一种自适应的注意力学习模块，用于自适应地优化每个AU单元的注意力图（attention map）。最后，将组合后的局部特征与面部对齐特征和全局特征相结合，用于AU检测。在BP4D和DISFA基准上的实验表明，该框架明显优于先进的AU检测方法。

介绍

在大多数与面部相关的任务中，面部对齐通常用于定位特定的面部位置，即关键点（landmarks），来确定面部形状或表情外观。人脸关键点可以提供更精确的AU位置，并具有更好的AU检测性能。Li等人提出了一种基于深度学习的EAC-Net方法，通过使用面部关键点信息增强和裁剪感兴趣区域(ROIs)来检测面部AU。EAC-Net论文
这篇论文提出了一个基于深度学习的联合AU检测和面部对齐框架JAA-Net，利用了这两个任务之间的强相关性。主要说来，首先学习两个任务的多尺度共享特征，并提取面部对齐的高级特征输入到AU检测中。此外，为了提取精确的局部特征，提出了一种自适应注意力学习模块来自适应地优化每个AU的注意力图，该注意力图最初由预测的人脸关键点来初始化。最后，将合成的局部特征与面部对齐特征和全局特征相结合进行AU检测。整个框架端到端，没有任何后处理操作，所有模块共同优化。