《How to Fine-Tune BERT for Text Classification》论文笔记

方法论

作者提出三种FineTune Bert的方法：1）直接使用下游目标数据集进行FineTune；2）先在目标领域上进一步Pretraining Bert， 再利用目标数据集FineTune； 3）与方法2类似，但加入了Multi-Task FineTune。

 

进一步预训练

已有很多研究表明，在目标领域进一步预训练预训练模型，能提升预训练模型在下游任务的表现，依据进一步预训练的数据集，可分为三类：1）预训练时，仅能使用下游目标标注数据集；2）预训练时，可以使用目标任务所在领域的大量数据，比如信用分类时，可以使用大量的金融新闻报道；3）通用语料。论文后续实验证明，进一步的领域预训练是最佳的。
 

Multi-Task FineTune

MT_DNN已证明 MTL 与 pretraining 技术具有互补性，因此，如果有相关数据集的条件，尽可能进行MT FineTune。
 

实验结果

长文本分类的处理，取“头+尾”的策略最佳。

取最后一层的输出特征，效果最佳。

遗忘预训练过程学习到的知识，是迁移学习面临的重要问题。通过优化的学习率策略，可以减低该问题的负面效果。实验结果表面，使用较低的学习率2e-5，比4e-4更好，注意论文使用了ULMFiT中的 “斜三角学习率” 与 “为不同层设置不同学习率”的策略， 层学习率的衰减为0.95。

在目标任务的训练集上进一步Pretrain， 经过100K 步之后，效果最优。

进一步的领域预训练有助于提升效果。

下游任务有100标注数据表现已较优。

Bert_Large 能进一步提升效果。