ELMo（Embeddings from Language Models） --学习笔记

学习参考自：
（1）、ELMo 最好用的词向量《Deep Contextualized Word Representations》
（2）、吾爱NLP(5)—词向量技术-从word2vec到ELMo
（3）文本嵌入的经典模型与最新进展

1、ELMo简介

基于大量文本，ELMo模型从深层的双向语言模型（deep bidirectional language model）中的内部状态(internal state)学习而来。
ELMo的优势：
（1）ELMo能够学习到词汇用法的复杂性，比如语法、语义。
（2）ELMo能够学习不同上下文情况下的词汇多义性。