本文深入探讨了ELMO如何利用多层双向LSTM结构生成上下文相关的词向量，解决了传统词向量忽视句法和语义的问题。通过对不同层隐藏状态的线性组合，ELMO在多项NLP任务中展现出优越性能，如问题回答、语义角色标注等。
迁移学习在nlp领域的应用之pretrain language representation，四连载，建议按顺序看，看完对该方向一定会非常清楚的！
（一）ELMO：Deep contextualized word representations
（二）Universal Language Model Fine-tuning for Text Classification
（三）openAI GPT：Improving Language Understanding by Generative Pre-Training
（四）BERT: Pretraining of Deep Bidirectional Transformers for Language Understanding
1. 问题描述
这是NAACL 2018的最佳论文。本笔记结合原文使用更佳哦。
以前的词向量都是与上下文无关的词向量，比如用word2vec训练的时候，使用单层神经网络
最低0.47元/天 解锁文章
300
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
