Global Meets Local: Effective Multi-Label Image Classification via Category-Aware Weak Supervision

Global Meets Local: Effective Multi-Label Image Classification via Category-Aware Weak Supervision, 2022

全局满足局部：基于类别感知弱监督的有效多标签图像分类

---

要点

1、由于复杂的底层对象分布，导致了多标签分类的困难；
（1）位置和尺寸和的变化；
（2）类内和类间的差异；

due to the complex underlying object layouts
such as variations in location and scale 
and the difference between intra-class and inter-class

2、多标签分类可划分为依赖于标签和基于区域的两种方法；

can be categorized into labeldependency and region-based methods

（1）标签依赖：

• 模型泛化能力差；
• 基于标签共现建模标签相关性
• CNN-RNN：CNN + LSTM，图像特征 + 标签相关性；
• 候选簇、视觉注意力机制、LSTM：显式建模标签依赖，但是需要一个显式的模块来删除重复的预测标签，并且需要一个阈值来停止序列输出；
• GCN：用图对标签相关性进行建模，但存在较高的计算成本或需要手动定义的邻接矩阵，当标签统计量不足时，可能学习到虚假的相关性；
• 标签依赖方法很大程度上依赖于训练数据的先验，当域迁移时，泛化性能降低；

label-dependency methods rely on the prior of the training data to a great extent
these methods may degrade the model’s generalizability when faced with domain shift

（2）基于区域：

• 泛化能力好，但噪声多、冗余多、上下文依赖被忽略或简化；
• 基本流程：首先通过选择性搜索、边界框、BING等方法生成大量的候选，然后使用二进制交叉熵损失代替softmax损失；
• 近期研究：长短期记忆网络、强监督、RPN边界框；
• 一般方法：为了实现高召回率，基于区域的方法主要使用对象检测技术生成候选簇，但是这些方法会产生很多有噪声的区域候选，不仅在多标签学习中计算效率低，而且由于背景干扰和候选边框不准确而影响性能；
• 此外，一些多阶段的方法，没有探索标签之间的相关性，基于区域的方法通常对图像的全局信息了解不够透彻，不能有效利用多标签信息来学习区域之间的语义关系。如果这种关系很好地建立起来，区域性建议可以受到进一步的限制；
• 现有方法：关注于定位信息性区域（建议候选区域、注意区域、随机区域），以覆盖所有可能存在的对象，并聚合局部判别