2021-9-9 学习周报

池化和池化的改进

pooling

池化（pooling）做的就是降采样，对feature map进行降维，用局部像素（特征值）的组合代替原本图像，常用的最大池化保留纹理特征,平均池化保留整体的数据特征。

https://www.zhihu.com/zvideo/1380611815215353856

这个视频的00：00到01：03，前一分钟讲的实验，是什么现象，其实可以认为是卷积神经网络的池化，只不过是不经过卷积的池化，直接对原图进行降采样了

Multi-scale order-less pooling

深度卷积激活特征的多尺度无序池化，无序是为了削弱空间信息，空间信息太强的话，会削弱图像的不变性。

好的图像特征是要具备一些不变性的（invariant），比如旋转不变性，平移不变性，放缩不变性，亮度不变性，不变性的动机和意义在于，我们人眼识别物体，无论物体位置，距离物体远近，物体旋转的角度，物体受光照的情况，都能识别出物体，也就是说，理想情况下，物体的特征不受上述条件的变化而变化。‎

空间信息太强，弱化图像的不变性，就可能会对训练造成影响，让模型判断精度下降，Multi-scale order-less pooling做的就是一定程度上扰乱特征然后再重新组合。

Multi-scale order-less pooling将原始图像缩放到256 * 256，提取4096维的全局空间信息作为level 1，对原图像128 * 128 窗口生成的4096维特征PCA降维为500维，再对所有500维特征VLAD编码生成50000维特征，再用PCA降维到4096维作为level 2，将第二步的128 * 128 窗口改为64 * 64窗口重复第二步过程得到4096维特征作为level 3，然后将这三个level的4096维特征归一化，级联为一个3*4096维的一个向量特征。

Compact Bilinear Pooling

紧凑双线性池化是对双线性池化的改进，双线性池化把在同一位置上的两个特征双线性相乘得到矩阵，对该矩阵sum pooling后张成张量，再对张量矩归一化和L2归一化得到可用于细粒度分类（fine-grained）的矩阵。

紧凑双线性池化改进的是双线性池化的大运算量和存储量，使用一种基于采样的近似方法，在不降低性能的前提下将特征维数降低两个量级。对于两组特征X和Y，线性核分类方法可以推导出最终相当于一个二阶多项式核，所以可以用这个二阶多项式核的低维度近似来做Compact Bilinear Pooling，使得原本单个特征pooling的维度降到远小于Bilinear Pooling的维度。