imbalanced data相关论文

零星的小发现：

• 很多都是多分类问题，二分类的不平衡样本问题比较少

A Novel Model for Imbalanced Data Classification(aaai2020)

采样、自定义loss、调整权重、集成学习结合

4个模块：DBC、DSI、AWA、EL

训练集中的data，连接DBC（多个平衡的小数据集data block），每个data block连接DSI，同时AWA调整weight，用kNN模型集成

采样：DBC/Data Block Construction
核心思想：对数量较多的类别降采样
步骤：

1. 把量大的数据$S_{maj}$分成${\delta }^{\ast }$个块： { C 1 , C 2 , … , C δ ∗ } \{C_1, C_2, \dots, C_{\delta^*}\} { C1​,C2​,…,Cδ∗​}，每个块的样本数量和量小的样本差不多
2. 对每个$C_i$，把$C_i$和$S_{min}$放在一起组成block $B_i$
3. 返回 B = { B 1 , B 2 , … , B δ ∗ } B = \{B_1, B_2, \dots, B_{\delta^*}\} B={ B1​,B2​,…,Bδ∗​}

自定义loss：DSI/Data Space Improvement
LMNN算法，学习转移矩阵$L$，定义损失函数：
$$\begin{array}{rl}\phi (L)& =(1-\lambda ){\phi }_{pull}(L)+\lambda {\phi }_{push}(L)\\ {\phi }_{pull}(L)& =\sum _{i,j\in N(i)}||L(x_i-x_j)|{|}^2\\ {\phi }_{push}(L)& =\sum _{i,j,l}[1+||L(s)i-s_j)|{|}^2-||L(s_i-s_l)|{|}^2{]}_{+}\end{array}$$
其中：

• ${\phi }_{pull}(L)$用来惩罚和当前样本离得远的、同样label的样本
  • $N(i)$是样本i附近相同label的其他样本
• ${\phi }_{push}(L)$用来惩罚和当前样本离得近、不同label的样本
  • $[a{]}_{+}=\max (a,0)$

调整权重：AWA/Adaptive Weiht Adjustment
动态调整weight，weight根据当前分类器对该$B_i$分类的情况来确定

unstable混淆矩阵

Sample	Predict as negative	Predict as positive
Positive	$c_{1,0}$	$c_{1,1}$
Negative	$c_{0,0}$	$c_{0,1}$

记少样本和多样本之间的importance比例为x，计算：
$$\{\begin{array}{l}\begin{array}{rl}gai{n}_{mat}& =x\ast (c_{1,1}-c_{1,0})+(c_{0,0}-c_{0,1})\\ gai{n}_{pos}& =x\ast (c_{1,1}+c_{1,0})+(-c_{0,0}-c_{0,1})\\ gai{n}_{neg}& =x\ast (-c_{1,1}-c_{1,0})+(c_{0,0}+c_{0,1})\end{array}\end{array}$$

$gai{n}_{mat}$是总体的提升，如果最大的gain与$gai{n}_{mat}$相等，则设置$W_n=W_d$，否则取$gai{n}_{pos}$和$gai{n}_{neg}$里较大的那个，然后更新$W_n=W_t+\Delta$，$W_t$是一个初始值

集成学习：EL/Ensemble Learning
投票的时候用上AWA中计算的weight，判断一个样本是positive，需要weight_p * 判断是positive的分类器个数 > weight_n * 判断是negative的分类器个数才可以

实验
公开数据集
做了Ablation Study，分别去掉了DBC, AWA, DSI
消融实验证明DBC最有用

Learning Imbalanced Datasets with Label-Distribution-Aware Margin Loss(nips2019)

自己设计的loss function(LDAM loss) + re-weight(DRW)

LDAM loss

margin的定义：
$$\gamma (x,y)=f(x{)}_y-\underset{j\ne y}{\max }f(x{)}_j$$
对于target label $y$，样本$x$与target label $y$之间的margin就是模型把样本x预测为y的概率，减掉预测为非y的概率里最大的那个。例如：
假设有多个label $y_1,y_2,y_3$，模型预测x为他们的概率分别为$p_1=f(x{)}_{y_1},p_2=f(x{)}_{y_2},p_3=f(x{)}_{y_3}$，且$p_2>p_1>p_3$，那么$\gamma (x,y_1)=p_1-p_2,\gamma (x,y_2)=p_2-p_1,\gamma (x,y_3)=p_3-p_2$

定义标签j的margin loss为：
$${\gamma }_j=\underset{i\in S_j}{\min }\gamma (x_i,y_i)$$

认为不平衡样本的泛化误差有上界，即：
$$\text{imbalanced test error}\le \frac{1}{{\gamma }_{min}}\sqrt{\frac{C(F)}{n}}$$
其中$C(F)$是一个模型的函数

为了最小化误差，需要最小化$\frac{1}{{\gamma }_{min}}\sqrt{\frac{C(F)}{n}}$，对于二分类，即：
$$\text{min }{\gamma }_1\sqrt{n_1}$$