双线性池化（bilinear pooling）

简介

bilinear pooling在2015年于《Bilinear CNN Models for Fine-grained Visual Recognition》被提出来用于fine-grained分类后，又引发了一波关注。bilinear pooling主要用于特征融合，对于从同一个样本提取出来的特征x和特征 y ，通过bilinear pooling得到两个特征融合后的向量，进而用来分类。
如果特征x和特征y来自两个特征提取器，则被称为多模双线性池化（MBP，Multimodal Bilinear Pooling）；如果特征x =特征y，则被称为同源双线性池化（HBP，Homogeneous Bilinear Pooling）或者二阶池化（Second-order Pooling）。

公式

这里参考《Bilinear CNN Models for Fine-grained Visual Recognition》，CVPR 2015一文，给出bilinear pooling的详细定义。

直观上理解，所谓bilinear pooling，就是先把在同一位置上的两个特征双线性融合（相乘）后，得到矩阵 b，对所有位置的 b 进行sum pooling（也可以是max pooling，但一般采用sum pooling以方便进行矩阵运算）得到矩阵ξ ，最后把矩阵 ξ 张成一个向量，记为bilinear vector x 。对 x 进行矩归一化操作和L2归一化操作后，就得到融合后的特征 z 。之后，就可以把特征 z 用于fine-grained分类了.

通俗的说法

如果输出特征图大小为7*7*512，则特征图共有7*7个位置，每个位置的特征维度为1*512，则各位置特征向量外积结果相当于512*1与1*512的矩阵相乘，其各位置特征向量维度为512*512。文章中使用所有位置特征向量之和对其进行池化，故将49个512*512的特征向量相加，最终得到512*512的双线性特征。 该过程可以使用矩阵乘法实现，将特征图变形为49*512的特征矩阵，之后其转置与其相乘，得到512*512的双线性特征向量。

如果使用的是sum pooling，具体操作就是矩阵相乘，然后做对应的归一化操作。

可以理解为，bilinear pooling就是在求两个特征矩阵的gram matrix，然后再sqrt和normalize

如果理解有误请指出

参考链接
https://zhuanlan.zhihu.com/p/62532887
https://zhuanlan.zhihu.com/p/87650330