【长尾学习】Class-Balanced Loss Based on Effective Number of Samples

论文标题:Class-Balanced Loss Based on Effective Number of Samples

论文链接:https://arxiv.org/pdf/1901.05555.pdf

论文代码:https://github.com/richardaecn/class-balanced-loss(tensorflow)

1、论文主要内容

  作者通过数学归纳法推导训练时每类有效的样本数量 ( ( 1 − β ) / ( 1 − β n i ) \bm{(1 − \beta)/(1 − \beta^{n_{i}} )} (1β)/(1βni))]( n i n_{i} ni代表训练时第 i i i类的样本数),接着使用该数值的倒数作为类别平衡损失的权重对损失进行加权。并且将其应用于softmax、sigmoid和focal( γ \bm{\gamma} γ)交叉熵的损失函数中,实验将所提出的类别平衡损失函数应用在不同的不同平衡因子的CIFAR10和CIFAR100中,同时也将其应用在ImageNet-LT和iNaturalist (2017/2018)。

  论文中所提出了三个结合每类有效的样本数量( ( 1 − β ) / ( 1 − β n i ) \bm{(1 − \beta)/(1 − \beta^{n_{i}} )} (1β)/(1βni))的softmax、sigmoid和focal交叉损失函数具体公式如下:

C B s o f t m a x ( z , y ) = − ( 1 − β ) / ( 1 − β n i ) l o g ( e x p ( z y ) / ∑ j = 1 C e x p ( z j ) ) CB_{softmax}(\textbf{z},y) = -(1 − \beta)/(1 − \beta^{n_{i}})log(exp(z_{y}) / ∑^{C}_{j=1} exp(z_{j})) CBsoftmax(z,y)=(1β)/(1βni)log(exp(zy)/j=1Cexp(zj))
C B s i g m o i d ( z , y ) = − ( 1 − β ) / ( 1 − β n i ) l o g ( 1 / ∑ j = 1 C ( 1 + e x p ( z j t ) ) ) CB_{sigmoid}(\textbf{z},y) = -(1 − \beta)/(1 − \beta^{n_{i}})log(1 / ∑^{C}_{j=1}(1 + exp(z_{j}^{t})) ) CBsigmoid(z,y)=(1β)/(1βni)log(1/j=1C(1+exp(zjt)))
C B f o c a l ( z , y ) = − ( 1 − β ) / ( 1 − β n i ) ∑ j = 1 C ( 1 − p i t ) γ l o g ( p i t ) ) ) CB_{focal}(\textbf{z},y) = -(1 − \beta)/(1 − \beta^{n_{i}})∑^{C}_{j=1} (1 - p^{t}_{i})^{\gamma} log(p^{t}_{i}))) CBfocal(z,y)=(1β)/(1βni)j=1C(1pit)γlog(pit)))

2、实验结果

  在CIFAR10和CIFAR100上的识别结果如下图所示:
请添加图片描述

  在CIFAR10和CIFAR100上分别对参数 β \beta β进行消融实验,CIFAR10数据集最佳的参数值为 β \beta β = 0.9999,因为类别少,类别间的重叠程度较低。CIFAR100则是在0.99时识别效果较好,因为CIFAR100中很多类别是细分类,有样本在特征空间中重叠的情况(某一个类为其他类的一个子集,即有些类别特征为其他类别特征的一部分)。

  在CIFAR的实验设置中,使用sigmoid交叉熵损失和focal损失的情况下,将最后一层(分类层)的偏置初始化 b = − l o g ( ( 1 − π ) ) / π ) b = -log ( ( 1-\pi )) / \pi ) b=log((1π))/π),实验将 π \pi π设置为类别数的倒数。此外,对最后一层(分类层)的偏置 b b b去掉 L 2 L2 L2正则化(权重衰减)。其他情况下,最后一层偏置初始化为0

请添加图片描述

  在ImageNet(ILSVRC 2012)和iNaturalist 2017/2018数据集上,参数 γ = 0.5 \bm{\gamma = 0.5} γ=0.5 β = 0.999 \bm{\beta = 0.999} β=0.999的识别结果如下图所示:

请添加图片描述

参考链接

[1] https://arxiv.org/pdf/1901.05555.pdf

  • 19
    点赞
  • 17
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值