Action Unit到底是什么？

action unit 有0~5共6个强度，编号A到E代表1到5， 0是没有AU

数据的形式是标注的视频帧，

有6个常用的数据集：

1. DISFA 数据库。

丹佛大学自发面部运动单元数据库( Denver Intensity of Spontaneous Facial Action database，DISFA) ［5］建立于2013 年， 采集了15 位男性和12 位女性，共27 位被试的AU 视频样本。被试坐着观看由YouTube 上的9 个片段拼接而成242 s的视频，每个片段激发一种情绪。在此过程中摄像机从正面采集 被试的面部表情，被试所处环境如光照、背景等条件一致。视频样本分辨率为1024 × 768，帧率为20 fps( frame /second) ，每位被试均采集4 845 帧。2 名FACS 专家在数据库中每帧图像上标注了12 种AU 的起始和终止，同时按照0 ～ 5 共6 个级别标注了AU 强度

2. BP4D-Spontaneous 数据库。

   BP4D-Spontaneous［6］简称BP4D，由宾汉姆顿大学和匹兹堡大学合作建立，采集了18 位男性和23 位女性，共41 位被试的视频样本。不同于直接观看视频激发情绪，BP4D 采集过程中通过指导被试作8 个任务激发相应的情绪，整个过程由专业演员主持，任务之间通过被试自评确定是否产生期望的情绪。数据集中包含每个任务对应的2D 和3D 视频 ，只保留表情显著的片段，每段平均时长1 min。对于每个视频中一段20 s 表情最为丰富的片段，由2 位FACS 专家标注27 种AU的起始和结束，同时对于AU12 和AU14，按照0 ～ 5 的级别标注强度。该数据库与DISFA 是目前学术界使用最为广泛的两个AU 检测基准数据库。

3. EmotioNet 数据库。

   俄亥俄州立大学Benitez-Quiroz 等［7］于2016 年建立的百万规模人脸表情数据库EmotioNet，图像均来自于互联网，相对于实验室场景中采集的数据，EmotioNet 中的数据来自于自然场景，因此更加真实且接近实际应用场景。数据库分为训练集和测试集，其中测试集包含26 116 张图像，通过FACS 专家标注了12 种AU 是否出现，训练集有约95 万张样本，由算法自动检测AU 并标注，其检测准确率约为80%。由于训练集的AU 标签中含有一定程度的噪声，EmotioNet 被较多用于 弱监督学习中。

4. CFEE 数据库。

   该数据库是文献［8］在研究复合表情( Compound FacialExpressions of Emotion，CFEE) 时建立，CFEE 数据库由230 位被试的正面面部图像构成，包括平静状态( 中性) 在内，共包括22 种复杂的复合表情，如高兴的惊讶、怨恨、敬畏、惊骇等。FACS 专家对每种表情标注了特定的AU。经统计，数据库中被标注的AU 有19 种。

5. UNBC-McMaster 肩痛表情数据库。

UNBC-McMaster 肩痛表情数据库［9］由25 名患有肩痛的被试的视频数据构成，共200 个视频序列，视频为正面拍摄，被试表情为肩痛过程中的自然流露。FACS 专家对视频中的每一帧进行了10 种AU 强度标注。该数据库的最大特点是含有其他数据库中少见的与疼痛相关的AU43。

6. CK + 数据库。

CK + 数据库由CK( Cohn-Kanade) 数据库扩展而来［10］，大部分数据为黑白视频，少数为彩色视频。数据库中包含123 位被试的593 段表情视频，所有视频序列中的表情都是从平静到峰值程度。FACS 专家对593 段视频的峰值帧，即最后一帧进行标注，共标注了30 种AU 是否出现，其中大部分AU 标注了强度。

具体文件形式：

比如说针对一个4分钟的视频， 是人的正面， 折合后有4800多帧（20帧每s）， 那么有个txt文件， 记录了每帧对应AU的强度， 数据集共12个AU：