Fine-grained和Coarse-grained解析，什么是细粒度图像分类

摘自：知乎-如何理解粗粒度和细粒度-Arya

什么是粗粒度和细粒度

• fine-grained：细粒度
• fine-grained classification：细粒度的图像分类。

粗粒度：分辨是猫还是狗

细粒度：分辨狗这个类别下，这张图是1.吉娃娃还是2.萨摩耶……n.哈巴狗；

Fine-grained classification往往需要professional expert去标注数据，这使得数据更加昂贵。

常用的细粒度分类的数据集

1. Stanford Dogs
   包含120种狗，每个类别有150张图片, 包含196种车，每个类别有几张到几十张图片，数量差别悬殊。
   Stanford Dogs
2. Stanford Cars
   包含196种车，每个类别有几张到几十张图片，数量差别悬殊
   Stanford Cars
3. Caltech-UCSD Birds 200
   包含200中鸟Caltech-UCSD Birds 200 与coarse grained classification不同，fine-grained classification往往需要professional expert去标注数据，这使得数据更加昂贵。
   Caltech-UCSD Birds 200

如何进行细粒度图像分类

1. 结合视觉信息与文字描述信息

现在已有的一些fine-grained-classification 方法中，非常直观的借用category-level information，即“一只吉娃娃以细小的体型、大眼睛、特别大的耳朵和直竖的尾巴为特征”，结合视觉信息与文字描述信息。

下图摘自论文：Fine-graind Image Classification via Combining Vision and Language

[1]Xiangteng He,Yuxin Peng, Fine-graind Image Classification via Combining Vision and Language. CVPR 2017.

2. transfer learning

由于ImageNet里已经包含很多种狗或鸟的图片，与Stanford Dogs（狗类）或者CUB（鸟类）有较大重叠部分——这使得单纯的fine-tuning都可以得到约等于77%的准确率。那么，我们只需要在此基础上增加一些domain adaptation 或者 instance-level weighted的方法就可以将ImageNet上训练好的模型“迁移”到适合fine-grained classification的问题上[2]。

[2]Timnit Gebru Judy HoffmanLi Fei-Fei.Fine-grained Recognition in the Wild: A Multi-Task Domain Adaptation Approach. , ICCV 2017.

3. 注意力机制思想

另一类经典的方法是类似于“注意力机制”的思想，关注informative part of an image.比如明显可以区分对于区分很多鸟类来说，头这个部位可能是更加重要的，那我们就重点关注喙。将图片分为image-level与part-level(或者说head-level),分别进行特征表示，然后fusion进行分类[3][4]。

[3]S. Branson, O. Beijbom, and S. Belongie. Efficient large-scale structured learning. InIEEE Conference on Computer Vision and Pattern Recognition, InProceedings of IEEE Conference on Computer Vision and Pattern Recognition, pages 1806–1813, Portland, Oregon, Jun. 2013.
[4]T. Xiao, Y. Xu, K. Yang, J. Zhang, Y. Peng, and Z. Zhang.The application of two-level attention models in deep convolutional neural network for fine-grained image classification. InProceedings of IEEE Conference on Computer Vision and Pattern Recognition, pages 842–850, Boston, MA, Jun. 2015.