ELMo详解

• Embeddings from Language Models
• 优势
  • ELMo能够学习到词汇用法的复杂性，比如语法、语义
  • ELMo能够学习不同上下文情况下的词汇多义性
• Deep contextualized word representation
• ELMo使用双层BiLSTM来训练语言模型，创新是线性组合不同层的word vectors， 作为最终的word representation
• https://zhuanlan.zhihu.com/p/37684922
• ELMO 的本质思想是
  • 我事先用语言模型学好一个单词的 Word Embedding，此时多义词无法区分，不过这没关系。
  • 在我实际使用 Word Embedding 的时候，单词已经具备了特定的上下文了，这个时候我可以根据上下文单词的语义去调整单词的 Word Embedding 表示
  • 这样经过调整后的 Word Embedding 更能表达在这个上下文中的具体含义，自然也就解决了多义词的问题了。
  • 所以 ELMO 本身是个根据当前上下文对 Word Embedding 动态调整的思路。