NLP 前置知识3 —— 预训练模型

一. Pre-training & Fine - tuning 机制

1.定义

Pre-training: 在大规模数据集上学习尽可能好的通用表示

Fine-tuning : 利用学习好的通用表示初始化下游任务网络

• 加速收敛
• 减少任务相关监督数据的需求

二.预训练模型发展总概

 来源：百度NLP

三.预训练模型简介

1. ELMo

Pre-training:

（1）Bi-LSTM （两层/双向(LR, RL)）

  (2)  无监督训练，训练数据1B Word

  (3)  只预训练language mode