NLP中的语言模型预训练相关总结
NLP中的语言模型预训练相关总结
文章目录NLP中的语言模型预训练相关总结前言one-hot 模型word2vec模型ELMO模型Open AT GPTBert总结参考资料
前言
语言模型的预处理主要是在各种NLP任务(翻译任务, QA, 实体识别等等)中作为上游任务出现的,用来获取语句的embedding向量, 从而作为下游模型的输入. 本文对最近看的一些博文中有关LM预处理的模型进行总结及阐述
one-hot 模型
最简单的表示一个词的向量就是one-hot, 如果语料库中有3个词(I love you
原创
2021-08-16 02:19:57 ·
515 阅读 ·
0 评论