[论文评析]C-Mixup: Improving Generalization in Regression, NeurIPS,2022

---

前言

Mixup方法是针对分类任务的, 这篇方法相当于时提出了regression版本的Mixup, 实验证实能够大幅提升在regression task上的泛化能力.

C-Mixup

是否可以把Mixup直接用于Regression task呢?

在原始的用于classification task的Mixup 中, 每次随机选择两个sample-label进行插值, 在回归任务中可以这样做吗? 答案是不可以, 作者举了如下的例子:

这是一个姿势预测任务，旨在预测对象相对于其规范方向的当前方向, 可以发现: mixup的随机采样产生三种混合样本的概率相等, 然而第2,3个pairs生成的sample的label实际上是没有意义的, 只有第1个pair产生的新样本是合理的 (pair1 中两个待查核自样本的label很接近), 此外利用input feature来计算距离发现pair1 和pair3的采样概率近似相等,这也是不合理的. 我们希望: pair 1产生的样本被采样的概率远大于其余两个.

看来随机选择样本进行插值不可取, 那么C-mixup时怎么做的?
给定样本$(x_i,y_i)$, 首先基于label distance,采用正态核来计算其余样本被采样的概率,具体如下:

这样一来,对于每个样本$(x_i,y_i)$, 都可以得到 { P ( ( x j , y j ) ∣ ( x i , y i ) ) ∣ ∀ j } \{P((x_{j},y_{j}) | (x_{i},y_{i})) | \forall j\} {P((xj​,yj​)∣(xi​,yi​))∣∀j}概率向量, 在进行归一化之后就得到概率分布, 然后按照这个概率分布进行采样.

到这里为止, C-mixup方法与Mixup不一样的地方已经讲完了. 插值的过程与Mixup完全一样, 如下:

利用插值后的样本训练模型也和Mixup一样, 如下:

C-mixup的伪代码如下:

方法部分已经讲完了, 对理论感兴趣的直接看原文就行.

注:此处C-mixup的C应该是continuous label的意思,

References

1. C-Mixup: Improving Generalization in Regression, NeurIPS,2022.
2. 官方代码链接, https://github.com/huaxiuyao/C-Mixup.