面部表情识别---学习笔记

1. FER：面部表情识别
2. 数据集：
   1. 表情产生的方式：
      1. posed:摆拍
      2. spontaneous(自然)
   2. 收集条件
      1. lab：实验室收集
      2. web（网页抓取）
      3. movie（电影截图）
3. 一个深度面部表情识别系统
   1. 输入
   2. 预处理：
      1. 面部对齐：检测人脸，去掉背景和无关区域，关键点标定，关于关键点的坐标：人脸可以利用仿射变换显示到统一的预定义模板上，可减少旋转和面部变形带来的变化
      2. 数据增强：
         1. 缩放 
         2. 旋转
         3. 颜色
         4. 加躁
         5. 归一化
            1. illumination（光照归一化）：基于各向同性扩散归一化、基于离散余弦归一化，高斯差分
            2. pose（姿势归一化）：以产生正面人脸视角。在标定人脸关键点之后，生成一个3D纹理参考模型，估测人脸部件，将输入人脸反投影到参考坐标系上，生成初始正面人脸
         6. 线下数据增强主要通过一些图像处理操作来扩充数据库，让网络对出现偏移和旋转的人脸更健壮，也可使用cnn或gan来生成更多的数据
         7. 在线数据增强方法一般集成在深度学习工具箱中，在训练过程中，输入样本被随机中心裁减1，并水平翻转，得到比原训练数据库大10倍的数据库
4. 训练模型：
   1. 网络集成需要考虑的因素：
      1. 网络要具有足够的多样性，以保证互补：需要考虑不同的训练数据库和不同的网络结构及参数
      2. 合适的集成方法：特征层，决策层
   2. 多任务学习：将知识从其他相关任务中迁移出来，消除有害信息，如表情识别任务+面部识别任务
   3. 级联网络：不同任务的各种模块按顺序组合，形成更深的网络
5. 测试
6. 输出