lstm 根据前文预测词_宅家NLP —— 词向量与ELMo

感谢@贪心科技 @李文哲 老师，附NLP系列第一场《词向量与ELMo》笔记整理

btw, 后面的课程笔记我也会整理到知乎，需要的小伙伴可以关注欧～

一、基础回顾之词向量与语言模型

1. 词的表示之独热编码

• 用0, 1量化词的表示；
• 存在的问题：无法计算词之间的（语义）相似度，因为无论如何单词之间的相似度都相等，为1；导致向量稀疏，大部分位置为0；

2. 词向量之生成词向量的模型和方法

• （非LM的方法 ）CBOW, Skip-gram,...；
• （基于LM的方法）Glove, ELMO,...；

3. 语言模型

• 衡量一句话从语法上是否通顺/合理；
• 相关的知识点：链式法则及马尔科夫假设；N元文法；平滑方法；困惑度；

二、词向量训练的常见方法

• Skip-gram：通过中间词预测上下文；
• CBOW：通过上下文预测中间词；
• NNLM：来源于03年的论文A neural probabilistic la