《论文阅读》Delving into Deep Imbalanced Regression

留个笔记自用

Delving into Deep Imbalanced Regression

做什么

Imbalanced Regression回归不平衡问题

从具有连续目标的不平衡数据中学习，处理某些目标值的潜在缺失数据，并推广到整个目标范围，即如上图所展示，一些连续回归任务中数据分布不平衡，存在缺少某些值的情况，这会对网络的预测存在影响，极端情况下可能无论任何输入他的输出都会是某一类别

做了什么

这里提出了两种解决回归不平衡的方式。标签分布平滑(LDS)和特征分布平滑(FDS)，通过使用核分布在标签和特征空间中执行显式分布平滑来利用附近目标之间的相似性，使标签或者特征结果得到平滑处理，防止出现过度情况

怎么做

首先是任务定义，就像常见的任务一样，有一个训练集

x∈R^d是输入，y∈R是label，是一个连续任务，每帧输入输出一个回归值
然后将y标签空间分为B个小组y_b，就是前面那种DIR图中按竖的分组，分为B个分段区域，这个区域可以理解成一个平滑关注窗口，窗口大小是根据任务指定的，也就是对回归的y值的最小到最大的一个分组
利用网络等操作得到对x的feature encode

最后通过decode将特征进行回归输出
接下来是两种做法的具体介绍，分别是LDS和FDS
首先是LDS，Label Distribution Smoothing标签分布平滑

展示了一下标签不平衡区别例子，cifar-100和IMDB-WIKI，前面那个很熟悉，一个100类分类数据集，后面这个是用图像回归年龄的，也就是给一个照片网络预测这个照片里人的年龄，一个是分类问题，一个是回归问题
为了两个数据集具有相同的标签范围，并对它们进行二次采样以模拟数据不平衡，同时确保它们具有完全相同的标签密度分布，然后用Resnet进行训练，得到下面的一个测试误差
可以看到的是上下两者成一个负相关关系，label出现越多的也就是密度越高的经过训练后test error就会越低，因为样本多的多数比少数学得更好，这里也显示出了一点，对于连续问题，empirical label density也就是直接观测到的标签密度，不能准确反映模型或神经网络所看到的不平衡，这是由于数据时序上的一个相关性
然后正式介绍LDS的具体设计方法，这里的方法是提倡使用核密度估计来学习与连续目标相对应的数据集中的有效不平衡。


p(y)是训练数据中y的标签出现的次数（文中说的次数，但我认为这里是密度），p~(y)是标签为y’'的密度，这里的k是核函数，可以选择高斯核或者拉普拉斯核之类的，图上的-0.47和-0.83就是前面图的Pearson correlation皮尔逊相关系数，原来的-0.47表示误差分布更加平滑，并且不再与标签密度分布很好地相关，而目的就是为了让它更相关，而经过核函数平滑后就使得连续任务也有标签密度分布和误差更高的相关性（-0.83）
然后就可以用常见的解决类别不平衡的方法（离散的）来解决连续问题，比如损失根据密度加权之类的
总的来说，这里想表达呃意思就是，连续任务相对于离散任务（如分类）如果存在不平衡就会存在标签分布和测试误差分布相关性较差的情况，而不好用解决类不平衡方法来解决，所以要用一个核函数进行平滑，使二者具有高相关，然后再用类似方法解决不平衡。
然后是第二个，FDS，Label Distribution Smoothing特征分布随机

这里期望的是，如果label空间具有连续性，那么特征空间也应具有连续性也就是说，如果模型工作正常并且数据平衡，期望对输入encode的特征应该要与附近label相对应的特征统计彼此接近，也就是label密度啥样，feature也应该啥样
同样也用一个例子来展示特征不平衡区别的例子

数据集用的是前面说的IMDB-WIKI，上图做法是这样的，选择前面说的一个小区域y_b，这里选的是y₃₀，也就是30~31岁的网络encode的所有特征的均值和方差，然后用这个y₃₀的结果和其他box进行余弦相似性计算，显然可以看到的是，在30附近的类encode出来的均值和方差和30的时候是相似的
即当有足够的数据时，对于连续目标，特征统计类似于附近的box区域。但可以看到的是，1岁和30岁的均值和方差相似度比1岁比17岁时候高，这就是个问题，这可以理解为没有足够的图像供0至6岁的人使用，就使用了数据量最大的30岁的先验
总的来说，从这个图可以得到一个信息，label的分布应该和encode的feature的分布相关

然后就是具体构造的FDS，做法其实就是在附近的目标box之间传输特征统计，做一个邻域平滑
首先先是对box内特征的元素做一个定义

这就是前面说的特征均值和方差，N是这个box内的采样数量，其余就是正常的计算了，z_i就是特征向量
然后一样，用一个kerel去对这两个做一个平滑

平滑后对特征做改变

最后将这个得到的feature经过decode后回归需要的连续值（label）
然后是将这个融入网络，FDS是一个即插即用的网络层，但显然是的每个epoch，这里的是都需要进行更新的

效果

这里选取实验的一个数据集进行了解
AgeDB-DIR数据集，AgeDB包含16,488个各种名人的图像，如演员，作家，科学家，政治家，每个图像都注明了身份，年龄和性别属性。 共存在568个不同的科目。 每个科目的平均图像数为29。最低和最高年龄分别为1和101。每个科目的平均年龄范围是50.3岁，也就是一个根据图像预测年龄的数据集

总结

1.类别不平衡问题的一个解决，但是这里设计的是label仅仅只有一个值，而我所调研的里程计任务需要回归的是一个7d向量，并且也存在很严重的不平衡问题，应该是可以进行调用