本文是对论文Bilinear CNNs for Fine-grained Visual Recognition重点内容的理解,由于本人小白,不当之处请指出。
- B-CNN architecture
网络CNN streamA擅长对物体/部件进行定位,局部区域检测,CNN streamB对A检测到的物体进行特征提取。两个网络相互协调作用,完成了细粒度图像分类过程中两个最重要的任务:物体、局部区域的检测与特征提取。
B-CNN的架构如下:
如上图所示,模型Β由一个四元组组成:
其中,fA,fB代表特征提取函数,即图中的CNN streamA ,CNN streamB;P是一个池化函数(Pooling Function);C则是分类函数。特征提取函数f (•)的作用可以看作一个函数映射:
输入为图像I ∈ I 和 locationL∈ L,输出为KXD的feature。
Pooling Function函数P将所有位置的Bilinear特征汇聚成一个特征,表示Φ(I)。
fA,fB的特征是K × M 和 K × N,Φ(I)的特征是M × N。Bilinear特征是一种通用的图像表示,可以与分类器C一起使用。