Word Vectors、GloVe、 and Word Senses

Word Vectors、GloVe、 、Evaluating、Word Senses

Word Vectors

实现

优化，梯度下降计算代价昂贵，随机梯度下降性价比更高，只更新出现的词的向量值，可以缓解矩阵稀疏问题（待研究）

降采样可以提高效率，原理与实现待研究
https://zhuanlan.zhihu.com/p/29488930

GloVe

第一种全局的词-文本矩阵分解,能有效收集的每一个词的统计信息，但他们却不能捕捉到词的上下文信息,第二种就是基于局部窗口信息以word2vec为代表的，这种方法虽然能在词的语义上有更丰富的表达，但是他们却不能很好的捕捉词的全局统计信息。那当然本文肯定是要集两者之精华，去两者之弊端，提出了一种全新的结合两种方式的GloVe词向量模型.

https://zhuanlan.zhihu.com/p/113331979?utm_source=wechat_session&utm_medium=social&utm_oi=788789505393037312&utm_content=first

Evaluating

Word Senses

Improving Word Representations Via Global Context
And Multiple Word Prototypes
Linear Algebraic Structure of Word Senses, with
Applications to Polysemy