细粒度分类中双线性卷积

细粒度分类中双线性卷积

摘要

本文使用了两个CNN提取特征的池化输出来代表图像，并且在一定规则下定位特征交互。但是在工作中发现，双CNN提取的特征有些冗余，可以在精度不下降的前提下减少某些特征，双CNN在其他的分类任务中也是有效的，比如纹理和场景识别。

现存的深度纹理表达有一些缺点，本文的关键方式是纹理表达可以可以写成两种适用网络设计特征的池化输出，网络的结构主要是两个CNN网络提取特征并连接一个bilinear 层以及 一个pooling层，然后后面跟随一个全连接层进行分类。其中bilinear层是量个区别特征组合一起产生输出，这和二阶导数池化的方法非常像，这种池化常常被应用在语义分割中。和其他的与训练模型不同，B-CNN可以从头开始训练，使用不大的计算消耗可以超越其他使用imagenet与训练的网络。

B-CNN可以看成一个特殊的attention model因为输出产品根据一个特征处理另一个特征 ，和对特征交互的attention机制特别的像，尽管这种特征并没有进行直接对比。

纹理表达和二阶特征

二阶特征，在图像分类和语义分割阶段是十分有效的。无序的纹理表达以及深度特征之间的研究是一个非常重要的话题，本文的工作和cross-layer pooling, 就是从不同的卷积层，提取特征。

CNN 的特征的Gram matrix对纹理表达具有很好的效果

gram 矩阵

但是这种在识别的时候非常有效，但是在合成方面没有效果