nlp paper：【第2篇】基于神经网络的词向量（Efficient Estimation of Word Representations in Vector Space）

1.    简述几种你了解的词向量？

①离散表示主要有：one-hot、Bag of Words、TF-IDF
②分布式表示有：基于矩阵的分布表示（主要有Glove模型、共现矩阵、SVD分解等等）和基于神经网络的分布表示（主要有word2vec、NNLM、RNNLM、elmo、bert等等）

2.    简述分布式词向量的优点？

优点：1⃣️利用上下文信息进行词的表示可以计算语义相似性、2⃣️解决维度稀疏的问题、3⃣️解决了近义词的表示问题

3.    列举三个学习完本课程的问题？

1⃣️embedding的维度大小表示有什么物理意义吗？

2⃣️对于未出现的词，分布式表示是怎么做的？

4.分别画出神经网络语言模型、CBOW和Skip-gram模型的数据流程图？

NNLM:

CBOW：

Skip-gram:

5.根据实验结果分析为什么论文中表4中skip-gram比CBOW的模型效果好？

skip-gram的准确率高于cbow的原因：对于相同的训练集，skip-gram通过中心词去训练上下文输入数据要多很多