细粒度分类

参考文献《https://cloud.tencent.com/developer/news/379428》

目的：目的是对属于同一基础类别的图像（汽车、狗、花、鸟等）进行更加细致的子类划分。

难点：细微的类间差异以及较大的类内差异

数据集：1，Stanford Dogs Dataset：http://vision.stanford.edu/aditya86/ImageNetDogs/main.html；

2，Caltech-UCSD Birds：http://www.vision.caltech.edu/visipedia/CUB-200.html；

3，Caltech 256：http://www.vision.caltech.edu/Image_Datasets/Caltech256/;

4,Stanford car:http://ai.stanford.edu/~jkrause/cars/car_dataset.html

。。。

 

方法：

方向：

1. 基于常规图像分类网络的微调方法

2. 基于细粒度特征学习(fine-grained feature learning)的方法

3. 基于目标块的检测(part detection)和对齐(alignment)的方法

4. 基于视觉注意机制(visual attention)的方法

 

1，具体有：AlexNet、VGG、GoogleNet、ResNet、DenseNet、CliqueNet和 SENet等.

另有：《Embedding label structures for fine-grained feature representation》--CVPR 2016

Zhang等人进一步将度量损失函数引入到精细分类网络的微调中来。具体而言，每次输入三个样本（Postive，Reference以及Negative）到三个共享权值的网络中，然后利用三个网络的特征输出用来计算损失函数，除了传统的softmax 损失函数，三个特征输出还构成了广义的triplet 损失（其中还嵌入了label structures）。最后两个损失函数联合用来微调网络。

2，例子有：《Bilinear CNN Models for Fine-grained Visual Recognition》

图中2个特征模块尾部的乘积处表示2个矩阵外积得到一个新矩阵（），再通过池化得到一个向量。

3，

《Part-based R-CNNs for Fine-grained Category Detection》

另外，cvpr2019,深睿研究院的一篇基于半监督检测的细粒度分类文献《Weakly Supervised Complementary Parts Models for Fine-Grained Image Classification from the Bottom Up》效果很好，主要思想如下：利用CAM通过一个分类模型得到图片的关键区域，再通过CRF修正与目标检测方法迭代产生更合适的目标proposal（多个），再在这些proposal中利用补充模型选择算法选出最合适的proposal，再利用LSTM进行特征提取并分类，标签只有图像的分类标签，因此是半监督算法。

 

4，基于视觉注意机制的方法。

代表文章是cvpr2017 oral 《Look Closer to See Better: Recurrent Attention Convolutional Neural Network
for Fine-grained Image Recognition》