细粒度图像分析综述2019

---

导读

图像分析是CV最重要的分支之一。在CV的各个研究领域中，细粒度图像分析(FGIA)是一个长期存在的基础性问题。旷视的研究人员魏秀参等人，将FGIA分为：细粒度图像识别、细粒度图像检索、细粒度图像生成，系统地阐述了细粒度图像分析的前前后后，并探讨了细粒度图像分析的未来方向。

---

细粒度应用和分类

工业和科研领域的应用

• 工业领域：生物多样性自动监测、气候变化评估、智能零售、智能交通
• 科研领域：Kaggle比赛-自然保护协会渔业监测(鱼类种类分类)、座头鲸鉴定(鲸鱼身份分类)等。

细粒度方法分类

作者给出了一个图像分析的tutorial。

---

2 细粒度的问题和挑战

问题

细粒度图像分析的对象是某一个类别的子类，如狗、鸟、车等。粗粒度图像分析的目标对象视觉差异大，细粒度目标图像视觉差异小。所以，细粒度分析要捕获更细微的差异（例如，耳朵，鼻子，尾巴等）。

挑战

细粒度的挑战是，类间差异小（这是细粒度本质），类内差异大（如姿态、尺度、旋转，如图3所示）。

---

3 数据集

数据集可视化示例

数据集信息统计
CUB200-2011和Birdsnap是有属性标注的。植物和商品的数据集比较新。

标注信息举例

4 细粒度图像识别

分为三类：（1）定位分类子网络（2）端到端特征编码（3）辅助信息。其中（1）和（2）使用监督信息：标签、边界框、部位标注等。（3）使用了比较廉价的辅助信息：网络数据、文本描述等。细粒度分类的评价标准是：平均分类精度。

4.1 定位分类子网络

指导思想是：捕获细粒度目标的判别性的语义部位。此类方法包含两个部分：定位子网络和分类子网络。
定位子网络的强监督信息有部位级别的边界框、分割mask，弱监督信息就是标签。弱监督定位子网络的动机是：先找到对应的部位，然后比较他们的外观。

4.2 端到端特征编码

端到端的方法，直接学习更有判别力的特征表示。代表方式就是Bilinear CNNs，因其高模型容量，达到了显著的细粒度识别性能。但是，bilinear的特征维度太高，不利于向大数据集扩展。

针对这个问题，学者们尝试生成更低维的表示，并且保证相当的或者更高的性能。

4.3 辅助信息

网络数据
这类方法主要集中在：（1）缩小网络图像和标注图像的差异；（2）降低噪声数据的负面影响。常用的方法是对抗学习和注意力机制。另一个方向是用迁移学习，包括零样本学习和元学习。

那那那，细粒度零样本问题

多模态数据
多模态：图像、文本、知识库。高级的知识图。Learning deep representations of fine-grained visual despcriptions结合了文本和图像来，解决零样本细粒度问题。

人类参与
有人类参与的细粒度识别是一个包含机器和人类用户的迭代系统。

5 细粒度图像检索

6 细粒度图像生成

图像生成是为了解决无监督问题。

细粒度图像生成的第一个工作是2017年的CVAE-GAN，模型生成图片的输入是标签和隐含属性。最近的工作Fine-grained text to image generation with attentional generative adversarial networks，从文本描述生成图像，通过对文本描述中的相关单词的注意力引导生成高质量的细节区域。

针对商品的细粒度很有意义

7 细粒度图像分析相关的特定领域应用

不同的问题都会面临细粒度场景，比如推荐系统中的衣服/鞋子检索、电子商务平台中的时尚图片识别、智能零售中的商品识别。

人脸识别可以看做身份粒度的识别问题，行人/车辆识别也是细粒度相关的任务，以及重识别问题。

在实际中，这些问题的解决方法包括：捕获目标（人脸、行人、车辆）的判别性部位，由粗粒度-细粒度的结构信息、基于属性的模型等等。

8 未来方向

自动细粒度模型
和AutoML自动机器学习或NAS模型搜索结合，替代人工设计的架构。
细粒度小样本学习
和元学习结合，减少对监督信息的依赖。
细粒度哈希
结合哈希算法，针对大规模细粒度问题，需要更有效的检索方法。
实际场景下的细粒度分析
结合域适应，迁移学习，长尾分布，特定设备等方法和场景的不同问题。

---

参考

1. 2017 survey [知乎]
   「见微知著」——细粒度图像分析进展综述
2. 2018 tutorial
   Fine-Grained Image Analysis Tutorial
3. 2019 survey [公众号]
   旷视南京研究院魏秀参：细粒度图像分析综述
4. 2019 survey [arXiv]
   Deep Learning for Fine-Grained Image Analysis: A Survey
5. 作者主页