论文阅读：Trustworthy Long-Tailed Classification CVPR2022

论文：[2111.09030] Trustworthy Long-Tailed Classification (arxiv.org)

code：GitHub - lblaoke/TLC: PyTorch implementation of the paper "Trustworthy Long-Tailed Classification" (CVPR 2022)

Abstract

首先提出了目前集成学习处理长尾问题的两个限制：首先，对于failure-sensitive applications预测是不可信的（尾部的预测不够准确）；其次，对于简单样本使用多专家预测是冗余的。基于此，作者提出了一种可信长尾分类(TLC)方法，在多专家框架下联合进行分类和不确定性评估，以识别硬样本。

该方法首先会获取每一位专家网络的证据和基于证据的不确定度（EvU），然后会基于Dempster-Shafer Evidence Theory (DST)理论融合这些证据和不确定度。此外作者还提出了一个动态专家参与策略，以减少预测简单样本的专家数量。

Introduction

现有的解决长尾问题的方法主要是：重新训练数据并赋予尾部更大的权重、在头部和尾部之间传递知识、互补集成（多个teacher网络蒸馏出一个student网络）和冗余集成（多专家共同决策）。冗余集成效果最好，主要是通过降低模型的方差来获取稳健的预测。但主要有两个局限性：首先是容易过度自信，这也防止集合方法感知错误的预测或者ODD样本。由于尾类的预测更多，对尾类更有害。其次是冗余集成通常假设所有分类器都应该在所有样本上进行训练，这是静态的，并且会通过将专家分配给所有类别从而增加计算成本。

对于这些问题，作者提出了一种新的可信长尾分类方法（TLC）在统一的框架内联合进行分类和不确定性估计。首先，作者介绍了DST下的证据及相关的不确定性。在EvU的帮助下，模型可以感知困难样本，提升对尾类和OOD样本的可信度并识别潜在的错误预测。其次，作者在Dempster规则下将不同专家的evidence和基于不确定性的多专家融合策略结合，获得准确的不确定性和稳健的预测。同时作者提出动态减少expert的数量以提高效率(头类需要较少的expert)。贡献如下：

1）引入EvU提高长尾分类的可信度，这是第一个在长尾分类中主张可信度的工作。

2）提出了一种基于DST的每个专家的不确定性的多专家融合策略，可以通过可靠的感知困难样本提升分类可信度。

3）通过动态减少不确定专家的参与提升了效率，达到了SOTA。

Related Work

Long-tailed classification

传统的长尾分类方法包括欠采样、过采样和数据增强。重新平衡方法更关注尾部类。OLTR 和inflated memory在不同的类别区域之间传递知识。BBN 分别学习头部和尾部的模式。LFME 分别提取类别区域的多个教师模型。RIDE和 ACE 集合了多位专家以获得稳健的预测。TDE 采用随机推理来消除尾类的偏差。这些方法并没有充分探索在预测中感知硬样本的不确定性。

Uncertainty estimation

Evidence theory.

Preliminaries

长尾数据集由不平衡训练集和平衡测试集组成。数据集可以按照类别数量的不同分为头 中 尾 三个部分。

对于测试集，类频率是相等的。

Method

Estimating Evidence-based Uncertainty

Combining Experts with Dempster's Rule

Combining uncertainties

Combining evidences.

Learning Experts with Dynamic Engagement