语言理解
理解事针对具体任务的理解,好的语言表示是实现语言理解的基础。
挑战
- 语言的复杂多样性(多义,同义,歧义,灵活的表达形式)
- 语言背景知识(时事,地点)
怎样实现语义理解
Word2Vec词向量就是一种实现语义理解的工具。它从海量无标注的语料数据中学习通用的语言表示。
预训练和微调机制
预训练:在大规模的数据集上学习尽可能好的通用表示.
微调:利用学好的通用表示初始化下游任务网络,使模型快速收敛,并减少对相关任务监督数据的需求。
预训练+微调的模式特点:
- 预训练学习到的底层特征具有可复用性。
- 通过具体下游任务进行微调训练,学习具有任务相关性的高层特征。
预训练+微调的模式做下游任务的优势:
1.需要更少的任务相关的标注数据。
2.得到更好的任务效果。
3. 更简单的网络结构适配。
NLP领域的预训练模型
ELMo
第一个现代的语义理解模型。能解决一词多义的问题。
预训练
- 使用两层Bi-LSTM进行建模。第一层建模