《Dice Loss for Data-imbalanced NLP Tasks》阅读笔记

https://arxiv.org/pdf/1911.02855.pdf

1.几种loss函数：

2.关于交叉熵loss

交叉熵方法是accuracy-oriented的，每个样本的贡献相同。

如果测试集上以f1 score作为主要评估，则更重视对正样本的考量。

若在样本不均衡的情况下使用交叉熵训练会造成训练和测试间的性能差异。

3.关于weighted cross entropy

系数a在[0,1]内，它可以是inverse class frequence 或是一个可调的超参数。

使用weighted cross entropy的方法和对训练数据采样的方法本质是相同的，都是在训练时改变数据的分布。

这两种方法都不常用，因为难以确定何时的a值，不合适的a可能会导致偏向较少的类型。

4.文章提出的自适应Dice loss