【长尾论文】ICASSP-2023-LONG-TAILED IMAGE RECOGNITION WITH DYNAMIC RE-WEIGHTING

ICASSP 2023

一、概述

1. 目标领域： #长尾 #动态重加权
2. 针对问题：静态的reweight方法会损害Head类的准确度。
3. 贡献：
   • 提出一种进度相关的动态重加权方案DRHT
     a progress-relevant weighting scheme called dynamic re-weighting
   • 提出一种头尾相接的损失函数
     a head-to-tail loss

二、方法思想

某一种类别的权重——先上升后下降
逐渐将attention从Head向Tail转移
（weight vary as the training process proceeds）
效果：使得模型在前阶段focus on头部类后面逐步将注意力转移到尾部类，而不是像静态重加权一直都focus on尾部类。

三、静态re-weighting方法

传统方法

1 The softmax cross-entropy loss (CE)

$$\text{Softmax}(z_i)=\frac{e^{z_i}}{{\sum }_j{e}^{z_j}}$$
$$\text{CE}(y,\hat{y})=-\sum _i{y}_i\log ({\hat{y}}_i)$$
对所有类别平等

2 focal loss (FC)

$$\text{FL}(y,\hat{y})=-\sum _i(1-{\hat{y}}_i{)}^{\gamma }{y}_i\log ({\hat{y}}_i)$$
在CE基础上加入一个调整因子减少为易分类样本的关注。

• 当模型对某个样本非常有信心时（即 \hat{y}_i ) 接近 1），$((1-{\hat{y}}_i{)}^{\gamma }$ 会接近 0，从而降低这个样本的损失贡献。
• 相反，对于难以分类的样本（即 ( \hat{y}_i ) 较低），( (1 - \hat{y}_i)^\gamma ) 较大，保持了相对较高的损失贡献。
• 这样，Focal Loss 能使模型在训练过程中更多地关注那些难以分类的样本。

静态重加权方法

都是在传统方法基础上加一个类别平衡因子

1 Cost-sensitive loss (CS-CE)

在传统CE、FC基础上转变
加上类别平衡因子，常使用负频率等参数

2 class-balanced loss(CB)

同样加入类别平衡因子

四、动态重加权with Head-to-tail Loss

权重因子

与该类别样本数和当前训练轮数相关

$n_c^t$表示类别c的样本点已经被使用的次数
K作为超参数，控制权重从上升转为下降的速度

• 在实际情况中，K通常取$t_{max}\ast n_{min}$
  • 对头部类来说，log内的数0—>1—>变大，权重会先变大后变小
  • 对尾部类来说，log内的数永远会小于1且越来越接近1,也就是权重越来越大
    用对数可以确保下坡平缓

HT-based损失函数HT-XX

不同情况下，把初始权重加起来会影响结果，所以使用归一化权重›

五、效果

确实在提高尾部类效果的同时，维持了头部类的高水准。

@inproceedings{DBLP:conf/icassp/LiWK23,
  author       = {Xinyuan Li and
                  Yu Wang and
                  Jien Kato},
  title        = {Long-Tailed Image Recognition with Dynamic Re-Weighting},
  booktitle    = {{IEEE} International Conference on Acoustics, Speech and Signal Processing
                  {ICASSP} 2023, Rhodes Island, Greece, June 4-10, 2023},
  pages        = {1--5},
  publisher    = {{IEEE}},
  year         = {2023},
  url          = {https://doi.org/10.1109/ICASSP49357.2023.10096266},
  doi          = {10.1109/ICASSP49357.2023.10096266},
  timestamp    = {Thu, 09 Nov 2023 15:50:52 +0100},
  biburl       = {https://dblp.org/rec/conf/icassp/LiWK23.bib},
  bibsource    = {dblp computer science bibliography, https://dblp.org}
}```