《Cost-Sensitive BERT for Generalisable Sentence Classification with Imbalanced Data》阅读笔记

https://arxiv.org/pdf/2003.11563.pdf

 

1.常见NLP数据增强+BERT在失衡数据上的表现

任务为2分类。正负样本比例为28% vs. 72%（这里以正/负指代文中的propaganda/non-propaganda）。

BERT模型采用BERT_base，增加全连接层，用于对句子编码分类。

常见NLP数据增强方法详见https://arxiv.org/pdf/1901.11196.pdf

评估结果如下：

用同一份数据集中75%训练，25%测试时（即在相似的数据上验证），没有数据增强的BERT性能最佳。

可能是因为有上下文的word embedding并不能从数据增强中受益。

在不相似的数据上验证时，同义词插入和词去除也没有带来性能增益（甚至更差），而上采样比无数据增强的性能高4%。同义词插入和词去除性能差可能是因为引入了噪声，上采样没有。因而，上采样带来一些泛化能力。

进一