关于face action unit 你想知道都在这里

1. Face aciton unit（FAU）是什么？

• 一组人脸肌肉运动的编码

2.数据集有哪些？

3. 预测FAU的算法有哪些？

3.1 Joint Action Unit localisation and intensity estimation through heat map regression

• 2018年，已开源
• 可以通过heatmap预测Action Unit localisation 和 强度
• 表情识别一般指的是（人的6种基本表情或者Action Unit）
• 现在的AU预测一般也都利用了人脸特征点定位的信息。
• 本文使用hourglass网络，输入是256✖️256并且被register的人脸图片
• 网络的输出是n✖️64✖️64的heatmap，n代表的是AU的个数
• 使用label augmentation的方法来解决数据标注不足的问题。
• 预测的intensity是连续的range0-5。
• 因为目前的真值数据库里都没有heatmap，因此需要生成heatmap Grountruth
• 数据增强方案：（1 ）input数据：register之前，随机的特征点扰动。（2）intensity label的增强。之所以扰动intensity，是因为标注的时候intensity就是人为的、主观的。
• 推理过程：输入图像->特征点检测->aligned to the registered image->cropped and rescaled to network input size

4.应用有哪些？

5.研究热点是什么？