Bilinear CNN(双线性)
1、特征学习方式:两个网络学习同一张图片
2、特征融合方式:
对应位置的两个特征描述符求外积,所有位置求和池化(SCDA视角类似)
传统的特征融合方法:
sum/avg:只用了一阶信息。bilinear pooling 用了二阶统计信息,意在当一阶信息相同的时候利用二阶信息的不同来做分类。
feature concatenation:从代数上可以看做direct sum。 bilinear pooling可以看做direct product。特征维度会很高,可以做细粒度分类的同时也容易过拟合。
融合后的特征维数=特征x和特征y的维数之积, 原作者尝试了PCA降维,但效果并不理想。
高维问题改进方法C-BCNN KP LRBP G2DeNet Isqrt-cov DBTNet-50 MOMN
以平移不变的方式(全局池化),对局部的对级(pairwise)特征交互进行建模,适用于细粒度分类。
平移不变性: https://bbs.cvmart.net/articles/240/cnn-de-ping-yi-bu-bian-xing-xiang-jie