NLP中的语言模型预训练相关总结
NLP中的语言模型预训练相关总结文章目录NLP中的语言模型预训练相关总结前言one-hot 模型word2vec模型ELMO模型Open AT GPTBert总结参考资料前言语言模型的预处理主要是在各种NLP任务(翻译任务, QA, 实体识别等等)中作为上游任务出现的,用来获取语句的embedding向量, 从而作为下游模型的输入. 本文对最近看的一些博文中有关LM预处理的模型进行总结及阐述one-hot 模型最简单的表示一个词的向量就是one-hot, 如果语料库中有3个词(I love you
原创
2021-08-16 02:19:57 ·
701 阅读 ·
0 评论