简介
bilinear pooling在2015年于《Bilinear CNN Models for Fine-grained Visual Recognition》被提出来用于fine-grained分类后,又引发了一波关注。bilinear pooling主要用于特征融合,对于从同一个样本提取出来的特征x和特征 y ,通过bilinear pooling得到两个特征融合后的向量,进而用来分类。
如果特征x和特征y来自两个特征提取器,则被称为多模双线性池化(MBP,Multimodal Bilinear Pooling);如果特征x =特征y,则被称为同源双线性池化(HBP,Homogeneous Bilinear Pooling)或者二阶池化(Second-order Pooling)。
公式
这里参考《Bilinear CNN Models for Fine-grained Visual Recognition》,CVPR 2015一文,给出bilinear pooling的详细定义。
直观上理解,所谓bilinear pooling,就是先把在同一位置上的两个特征双线性融合(相乘)后,得到矩阵 b,对所有位置的 b 进行sum pooling(也可以是max pooling,但一般采用sum pooling以方便进行矩阵运算)得到矩阵ξ ,最后把矩阵 ξ 张成一个向量,记为bilinear vector x 。对 x 进行矩归一化操作和L2归一化操作后,就得到融合后的特征 z 。之后,就可以把特征 z 用于fine-grained分类了.
通俗的说法
如果输出特征图大小为7*7*512,则特征图共有7*7个位置,每个位置的特征维度为1*512,则各位置特征向量外积结果相当于512*1与1*512的矩阵相乘,其各位置特征向量维度为512*512。文章中使用所有位置特征向量之和对其进行池化,故将49个512*512的特征向量相加,最终得到512*512的双线性特征。 该过程可以使用矩阵乘法实现,将特征图变形为49*512的特征矩阵,之后其转置与其相乘,得到512*512的双线性特征向量。
如果使用的是sum pooling,具体操作就是矩阵相乘,然后做对应的归一化操作。
可以理解为,bilinear pooling就是在求两个特征矩阵的gram matrix,然后再sqrt和normalize
如果理解有误请指出
参考链接
https://zhuanlan.zhihu.com/p/62532887
https://zhuanlan.zhihu.com/p/87650330