Learning to Navigate for Fine-grained Classification 论文地址
参考博客
介绍
问题描述:细粒度分类任务是用来区分上一级公共类的子类,例如野生鸟类、汽车型号。这些子类通常是由各个领域专家根据特定的规则定义的,这些规则通常关注特定区域的细微差别。
主要挑战:由于类间变化较小,找到具有判别能力的特征相对普通分类任务更加困难。
现有问题
- 强监督学习:利用细粒度的人工注释,如鸟分类中部分部位的注释。虽然取得了不错的结果,但它们所需的细粒度人工注释代价昂贵,使得这些方法在实践中不太适用。
- 无监督学习:学习规则定位信息区域,不需要昂贵的注释,但缺乏保证模型聚焦于正确区域的机制,这通常会导致精度降低。
本文方法
文章提出了一种新颖的自监督(self-supervision )机制,可以有效地定位信息区域而无需边界框/部分注释(bounding box/part annotations)。开发的模型称为NTS-Net,采用multi-agent cooperative学习方法来解决准确识别图像中的信息区域的问题。 直观地,被赋予地ground-truth class的概率较高的区域应该包含更多的对象特征语义,从而增强整个图像的分类性能。 因此,设计了一种新的损失函数来优化每个选定区域的信息量,使其具有与概率为ground-truth class相同的顺序。
整体思路
概括阐述self-supervision机制NTS-Net由Navigator agent,Teacher agent和Scrutinizer agent组成。
- 对于图像中的每个区域,Navigator预测区域的信息量,并提出信息量最大的区域。
- Teacher评估Navigator建议的区域并提供反馈:对于每个候选区域,Teacher评估其属于ground-truth class的概率,根据置信度评估来指导Navigat