NLP-预训练语言模型-百度公开课笔记

语言理解

理解事针对具体任务的理解，好的语言表示是实现语言理解的基础。

挑战

1. 语言的复杂多样性（多义，同义，歧义，灵活的表达形式）
2. 语言背景知识（时事，地点）

怎样实现语义理解

Word2Vec词向量就是一种实现语义理解的工具。它从海量无标注的语料数据中学习通用的语言表示。

预训练和微调机制

预训练：在大规模的数据集上学习尽可能好的通用表示.
微调：利用学好的通用表示初始化下游任务网络，使模型快速收敛，并减少对相关任务监督数据的需求。

预训练+微调的模式特点：

1. 预训练学习到的底层特征具有可复用性。
2. 通过具体下游任务进行微调训练，学习具有任务相关性的高层特征。

预训练+微调的模式做下游任务的优势：
1.需要更少的任务相关的标注数据。
2.得到更好的任务效果。
3. 更简单的网络结构适配。

NLP领域的预训练模型

ELMo

第一个现代的语义理解模型。能解决一词多义的问题。
预训练

• 使用两层Bi-LSTM进行建模。第一层建模