关注
NLP-预训练语言模型-百度公开课笔记
语言理解理解事针对具体任务的理解，好的语言表示是实现语言理解的基础。挑战语言的复杂多样性（多义，同义，歧义，灵活的表达形式）语言背景知识（时事，地点）怎样实现语义理解Word2Vec词向量就是一种实现语义理解的工具。它从海量无标注的语料数据中学习通用的语言表示。预训练和微调机制预训练：在大规模的数据集上学习尽可能好的通用表示.微调：利用学好的通用表示初始化下游任务网络，使模型快速收敛，并减少对相关任务监督数据的需求。预训练+微调的模式很有优势：预训练学习到的底层特征具有可复用性。