词向量与词表示

推荐阅读文本：https://blog.csdn.net/u010417185/article/details/80647931

再继续讲Word2Vec：

1. 遍历整个语料库，
2. 预测中心词周围出现的概率
3. 带入损失函数。
4. 算法不断迭代更新参数值。

我们希望得到的模型能够使得所有的词语出现在文本中的概率最高。

实际参数的大小会非常大。（两个语料库向量表示：2dV）

我们把语料设置窗口将文本循环迭代一遍，我们会发现参数会非常多。

解决方法：

需要用稀疏矩阵更新特定的行，在U、V里面。hash的方法

为什么初始需要两个向量，早期优化方便，最后的时候会将两个矩阵平均。

常见方法

Skip-grams（SG）

continuous bag of words（CBOW）

加速训练的方法：

Negative sampling：

我们可以看到上面的两个权重矩阵非常庞大，如果每次更新权重的话，更新量会非常复杂。

能不能每个训练样本的训练只会更新一小部分的模型权重，从而降低计算负担。

怎么来选择我们要更新的负权重文本呢？

这个概率的实现公式。每个单词被选为“negative words”的概率计算公式与其出现的频次有关。

Skip-garm+negative sampling优化目标函数。

第一部分：最大化o词出现的概率，第二部分：最小化语料库中的其他词出现的概率。

上面提到的方法，我们很多时候只是抓取一个词的，能不能使用多个词呢？

基于共现矩阵co-occurrence matrix X，全部文本的做不太实际，文本量太大了。

我们既有window窗口来做。（设定一定长度窗口，计数）

1. 这样做的缺点。增加了词典的量级；需要更多存储和计算量，
2. 后续分类问题，存在稀疏性的问题。

我们需要更低维度的向量：SVD分解。

对于X矩阵的一些技巧。

对于经常出现的词，has，the，之类。设置一个上限或直接忽略他。

利用相关系数代替简单的技术。将负值设定为0.

向距离更近的词倾斜。