Global Meets Local: Effective Multi-Label Image Classification via Category-Aware Weak Supervision, 2022
全局满足局部:基于类别感知弱监督的有效多标签图像分类
要点
1、由于复杂的底层对象分布,导致了多标签分类的困难;
(1)位置和尺寸和的变化;
(2)类内和类间的差异;
due to the complex underlying object layouts
such as variations in location and scale
and the difference between intra-class and inter-class
2、多标签分类可划分为依赖于标签和基于区域的两种方法;
can be categorized into labeldependency and region-based methods
(1)标签依赖:
- 模型泛化能力差;
- 基于标签共现建模标签相关性
- CNN-RNN:CNN + LSTM,图像特征 + 标签相关性;
- 候选簇、视觉注意力机制、LSTM:显式建模标签依赖,但是需要一个显式的模块来删除重复的预测标签,并且需要一个阈值来停止序列输出;
- GCN:用图对标签相关性进行建模,但存在较高的计算成本或需要手动定义的邻接矩阵,当标签统计量不足时,可能学习到虚假的相关性;
- 标签依赖方法很大程度上依赖于训练数据的先验,当域迁移时,泛化性能降低;
label-dependency methods rely on the prior of the training data to a great extent
these methods may degrade the model’s generalizability when faced with domain shift
(2)基于区域:
- 泛化能力好,但噪声多、冗余多、上下文依赖被忽略或简化;
- 基本流程:首先通过选择性搜索、边界框、BING等方法生成大量的候选,然后使用二进制交叉熵损失代替softmax损失;
- 近期研究:长短期记忆网络、强监督、RPN边界框;
- 一般方法:为了实现高召回率,基于区域的方法主要使用对象检测技术生成候选簇,但是这些方法会产生很多有噪声的区域候选,不仅在多标签学习中计算效率低,而且由于背景干扰和候选边框不准确而影响性能;
- 此外,一些多阶段的方法,没有探索标签之间的相关性,基于区域的方法通常对图像的全局信息了解不够透彻,不能有效利用多标签信息来学习区域之间的语义关系。如果这种关系很好地建立起来,区域性建议可以受到进一步的限制;
- 现有方法:关注于定位信息性区域(建议候选区域、注意区域、随机区域),以覆盖所有可能存在的对象,并聚合局部判别