预训练模型系列之ELMo
预训练模型合集简介ELMo[^1]本质模型特点GPTBERT
简介
GPT和Bert模型十分常见,加上近期的课程涉及到这三种模型,决定加深理解整理一波,如有理解错误的地方,还望各位网友不吝赐教!
模型起源:传统词模型假设每个词语对应唯一的向量表示,且为静态向量,无法处理一词多义现象。
ELMo[^1]
本质
Embeddings from Language Models, 双向LSTM
Markdown将文本转换为 HTML。
模型
特点
在大规模预料上学习的表示效果很好
GPT
BERT
...
原创
2021-06-09 20:11:26 ·
282 阅读 ·
0 评论