Stanford NLP lec 1. Word Vectors

denotational: 指称性

wordnet依靠专家的知识，建立了同义词(synonym)和IS-A关系词(hypernym).

使用方法：见https://blog.csdn.net/King_John/article/details/80252594

2012年之前：bag of words 模型（离散式语义）

bag of words 的致命问题：

• 语料稍微大一点，词语对应的矩阵就会非常大且稀疏。
• 每两个词语的表示都是正交的，也就是similarity=0. 这显然是很糟糕的。比如，我们在搜索"Seattle motel"的时候，也希望能显示"Seattle hotel"的结果。

分布式语义

 

算法刚开始时，vocab中的每个单词的向量都随机初始化。之后遍历整个corpus text中的每一个位置，有中心词c和周围词o，不断地调整词向量，使得p(o|c)或者p(c|o)的概率最大。

• 与越接近，其点积就越大。(c:center, o: outside)
• softmax 的名字包含两种含义：1. “max”表示它使最大的值更加放大(exp函数特点) 2. 对于那些不是最大值的值，softmax也给了它们一定的小值，而不是像hardmax那样采用one-hot编码，让非最大值的值都为0.

总共有V个词语，每个词语都有两个表示(在中心、在周围)，每个表示的维度为d。所以，总共需要有2dV个参数。