ACL2018论文笔记1

本次所读的paper题为《Universal Language Model Fine-tuning for Text Classification》来自于2018年ACL。

本文的贡献在于：

• 提出了Universal Language Model Fine-tuning，即ULMFiT模型。
• 提出了两种(fine_tuning) 微调方法
  • 区分微调 (discriminative fine_tuning )
  • 三角变化学习率 (slanted triangular learning rate)
• 该方法在6个文本分类任务上的性能明显优于现有的文本分类方法，在大部分的数据集上测试使得错误率降低了18-24%

迁移学习思想

• 将已经学习到的知识（预先训练好模型）应用到其他领域（模型）上去。在nlp领域最先尝试迁移学习的是嵌入模型（eg . word embedding），将预先训练好的词向量加入到模型中，可以在大多数NLP任务中改进结果,并在此之上，开始了寻找质量更高的词/字符/文档表示。
• 不过，词嵌入仅是大多数NLP模型的第一层，之后，我们仍需要从头开始训练模型的其他层。
• 本文采用的是，在微调语言模型的基础上，进行迁移学习，在上面加一层分类器。

ULMFiT模型