qq_41768451的博客

摘要：之前的词汇替换是通过查询目标词汇的同义词来实现的（e.g. WordNet), 然后基于文本对候选词打分。这种方法有两个限制： 忽略了不是同义词的但是效果很好的候选词汇 没有考虑同意替换对整个文本的影响 主体：对目标词进行embedding dropout，使得可以平衡目标词的语义信息和上下文信息。如果完全遮盖，返回的候选词可能与原词意思不同，却能满足上下文信息；如果不遮盖，返回的候选词大约99.99%会预测到原词。计算相似度时，将BERT前四层的表示做

介绍1、双向预训练模型，使用MLM(masked language model):2、预训练模型，降低模型复杂度BERT是自监督学习（无监督学习），结构是Transformer Encoder.结构： pre-training: 预训练阶段，使用无标注文本数据 fine-tuning: 在下游任务使用监督数据进行微调GPT Transformer只可以进行左边文本的自注意力计算BERT可以进行双向注意力计算输入/输出特征输入单个句子：每个句