CS224n笔记:contextual word representation
最新推荐文章于 2023-06-07 09:02:31 发布
这篇博客探讨了contextual word representation,重点比较了ELMO、GPT和BERT模型。ELMO通过LSTM层获取上下文依赖的表示,Transformer是其基础单元。GPT利用单向Transformer进行无监督学习,而BERT则引入双向信息,预训练阶段包括词汇预测和句子关系判断,从而在NLP任务中表现出色。
摘要由CSDN通过智能技术生成