Revealing the Invisible with Model and Data Shrinking for Composite-database Micro-expression Recogn

Revealing the Invisible with Model and Data Shrinking for Composite-database Micro-expression Recognition

摘要：
重要的微小改变容易在深层模型中消失；
本文分析了【模型复杂度】和【输入数据复杂度】的影响；
【低分辨率输入数据】和【浅层模型】可缓解在深度模型中的退化；
本文开发了三个无参数模块 —— wide expansion，shortcut connection ， attention unit

简介:
MER = 微表情识别；
很多的科研工作者提取了各种各样的特征；
手动提取的特征我知道的有LBP-TOP和MDMO；
作者认为CNN还是优于传统的手动提取的特征；
不同场景的联合数据库会降低网络的性能；
输入数据复杂度包括【data number 数据数量】和【输入的数据的分辨率】；
三个无参数模块加到RCN中不会添加任何可学习的参数；
本文引入了一种神经网络搜索策略（NAS）;

相关工作：
数据库分为单个数据库，跨数据库 cross-database，混合数据库 composite-database；
对于单个数据库，分为传统方法和神经网络方法；
传统方法先提取特征，再通过分类器分类；
神经网络方法是端到端的方法，可能只需要输入数据（图片或视频）就能得到最后的分类结果；
LBP类的特征是基于外观的特征，因为它处理的是像素值；
MDMO光流处理的是68个点（可能更多更少）的运动距离，是基于几何的特征；

方法论
本节介绍：
1、光流映射特征的提取；
2、基础的RCN简略模型；
3、三个无参数模块；
4、基于NAS的自动组合方法；
5、基础RCN和无参数模块的学习；
————————————————————————————
1、计算光流特征映射，需要起始帧和终止帧；
（x,y,t）可定位视频中任意一点；
输入的特征映射是V = [Vx Vy Vz];
其中Vx , Vy是文献[45]中有求法，Vz在本文中有求法；

receptive field 感受野
用稀疏卷积运算代替标准卷积运算可以在相同可学习参数的情况下拥有更大的感受野；

2、 Recurrent Convolutional Network
标准卷积层执行一次卷积操作；
循环卷积层执行多次卷积操作；
循环卷积层分享参数（the recurrent layer can be regarded as several convolutional layers by sharing parameters）；
每次卷积操作后，通过归一化激活函数得到每一层的特征映射（feature maps）;
本文归一化采用批归一化（batch normalization）;
batch normalization的简介
本文激活函数使用ReLU函数；
ReLU函数简介
为了减少输出映射的空间分辨率，对循环神经网络的输出进行最大池化；
将池化输出变为特征向量的池化用的是自适应平均池化而不是全局平均池化；

3、 Parameter-free Extension Modules
一般来说，神经网络更深的层数或更多的可学习参数可以带来更好的表示能力（representation ability）,但同时会带来过拟合的坏处；
本文提供的三个模块既不会带来过拟合，还能提高表示能力；
更深的网络可以提出多级特征并通过池化操作得到更多的感受野；
感受野小了，往往表示能力也小；
本文在同一层中使用不同感受野的卷积操作而不是在不同层中用许多不同原始参数的滤波器；（we utilize various convolutional operations with different receptive fields in same layer to mimic different receptive fields, rather than using multiple filters with different initial weights in different layers.）
普通卷积层想要获得更大的感受野，需要增加学习参数；
本文用稀疏卷积操作代替标准卷积操作，这样就使得在获得更大的感受野的情况下拥有更少的学习参数；
在 wide expansion 中，分为很多流；
第一个流的size = 1,可以看作标准卷积层；
其他流用的size > 1；
不用流被组合起来形成了更大的feature maps;
公式5中，s,k分别是滤波器和输入权重矩阵的相关定位（s and k denotes the corresponding locations in the filter and input weight matrices.）；
公式5中，l是稀疏滤波器/稀疏卷积层的size；

捷径连接（shortcut connection）是前一层的输入和输出加起来作为下一层的输入；
具有更多快捷连接的循环卷积层最终还是要经过归一化和激活函数的处理；
本文将快捷层替换了RCN；

用光流去学习深度模型的表示，光流可能定位到非微表情感知领域；
element-wise multiplication = 两个相同维度的矩阵对应元素对应相乘得到一个新的相同维度的矩阵；
downsampling = 下采样；
上采样与下采样简介

如何集成这三个模块也是一个问题；
wide expansion 和 attention unit 可以集成到任意一个展开的卷积层当中；
为了找到最佳集成策略，使用NAS方法即神经架构寻找方法；

figure6:
红色注意单元是Rconv的输入端到输出端；
绿色注意单元是Rconv的输入端到两个Rconv之后的输出端；
紫色注意单元是Rconv的输入端到三个Rconv之后的输出端；

学习模型对SGD(随机梯度衰减)的参数进行设置：
学习率；
损失停止准则；
最大迭代次数；
衰减率；

For fairly comparison, we adopt both unweighted average recall (UAR) and unweighted F1-score (UF1) as evaluation metrics, which can measure class-balanced performance。
非加权平均召回和非加权F1评分作为作为类平衡性能的评价指标；
召回率
召回率和F1得分
UAR是一个评价指标，其定义在V-B最后一段中；