华中科大的作品,写的很棒,属于看完拍大腿系列。HBP论文地址
出发点:基于Bilinear pooling的模型已经被实验验证了在细粒度认知的有效性,然而很多之前的方法忽略了层间局部特征的交互和细粒度特征的学习是相互关联的同时也能强化彼此。
以此为出发点,作者提出来一种跨层的bilinear pooling方法来捕获层间局部特征关系,然后在这个基础上提出了一种新的分层双线性池框架来集成多个跨层双线性特征,以提高它们的表示能力。
和之前的定位局部来学习细粒度特征不同,作者将来自不同卷积层的激活视为对不同部件属性的响应,而不是显式地定位对象局部,利用跨层双线性池捕获局部特性的跨层间交互,这对于细粒度识别非常有用。
DISS: 之前的很多工作已经引入双线性池框架-来建模对象的局部部分。虽然已经报告了很不错的结果,但是进一步的改进受到以下限制:
1.现有的基于双线性池的模型大多只将最后一个卷积层的激活作为图像的表示,不足以描述对象的各个语义部分。
2.其次,忽略了中间卷积激活,导致细粒度类别的判别信息丢失,这对细粒度的视觉识别具有重要意义。
贡献:
- 我们开发了一种简单但有效的跨层双线性池技术,它同时支持特性的层间交互,并以一种相互增强的方式学习细粒度表示。
- 2.在跨层双线性池的基础上,提出了一种分层双线性池集成框架,对多个跨层双线性模块进行集成,从中间卷积层