CS224d lecture03 学习笔记（有点难，之后要再看）

高级词向量表示

回顾：

skip-gram

$$P(o|c)=\frac{exp(u_o^T{v}_c)}{{\sum }_{w=1}^{V}exp(u_w^T{v}_c)}$$
例子：I like deep learning and NLP.
window 1: I like deep leaning and
$$P(I|deep)=\frac{exp(u_I^T{v}_{deep})}{{\sum }_{w=1}^{V}exp(u_w^T{v}_{deep})}$$
$$P(like|deep)=\frac{exp(u_{like}^T{v}_{deep})}{{\sum }_{w=1}^{V}exp(u_w^T{v}_{deep})}$$
$$...$$
window 2: like deep leaning and NLP
$$P(like|learning)=\frac{exp(u_{like}^T{v}_{learning})}{{\sum }_{w=1}^{V}exp(u_w^T{v}_{learning})}$$
$$P(deep|learning)=\frac{exp(u_{deep}^T{v}_{learning})}{{\sum }_{w=1}^{V}exp(u_w^T{v}_{learning})}$$
$$...$$
问题：每个窗口都得遍历整个语料库，分母中的求和计算很庞大。但是语料库中的很多单词都不会和中心词同时出现。

Skip-gram模型

解决方法：
随机从语料库抽取单词，对从语料库抽取的随机单词进行重采样，而不是遍历所有的不同的单词，
目标函数：$$J(\theta )=\frac{1}{T}\sum _{t=1}^T{J}_t(\theta )$$
$T:$要遍历的所有窗口
$$J_{(}\theta )=log\sigma (u_o^T{v}_c)+\sum _{i=1}^k{E}_{j\sim P(w)}[log\sigma (-u_j^T{v}_c)]$$
$log\sigma (u_o^T{v}_c):$中心词$c$和外围词$o$同时出现的概率的对数。
$j\sim P(w):$从语料库随机抽取单词。
$[log\sigma (-u_j^T{v}_c)]:$减少随机抽取的单词$j$和中心词$c$同时出现的概率。

Word2vec

遍历语料库中的每个单词，观察窗口周围的词，预测周围的词，去抓取词的共同点，发现这个词和其他词共同出现的频率是多少，每出现一次计一次数，做一次梯度下降，当在语料库中再出现在一起时，再计数并进行梯度更新。

为什么不对整个语料库做一次计数？
Word2vec之前的方法：

1.潜在语义分析（Latent semantic analysis/LSA）：

在每个单词周围使用了一个窗口，相当于遍历了整个语料库，不做任何梯度更新，首先对计数结果进行采集，一旦获得计数结果，就对矩阵进行操作，要抓取的不只是语义，还有每个词的句法信息，另一方面，观测共同出现的计数结果不仅在窗口周围，而是整个文档的。
*LSA的步骤如下：

1. 分析文档集合，建立共现矩阵。
2. 对矩阵进行奇异值分解（SVD）。
3. 对SVD分解后的矩阵进行降维。
4. 使用降维后的矩阵构建潜在语义空间。*

基于窗口的共现矩阵Example

语料库：
I like deep learning
I like NLP
I enjoy flying

缺点：
（1）当语料库增加新单词时，向量会变长，当下游的机器学习模型接受其作为输入时，会需要改变而且有一些参数的缺失。
（2）向量的维度会非常高，机器学习模型会存在稀疏性问题。

降维：奇异值分解（SVD）

CSDN博客上的奇异值分解详细讲解：
https://blog.csdn.net/shenziheng1/article/details/52916278

性能提升的处理

（1）对于the、he、has等词，即使出现的频率很高，蕴含的信息也很少，因此在共现矩阵中将出现的频率最大化为100.
（2）忽略几个最高出现的单词（词的长尾效应：不常出现的词包含很丰富的语义内容）。
（3）不平等的计算所有的词的出现次数：靠近中心词的词每出现一次记1，距离五个单词的记0.5.

模型对比

基于计数的模型：SVD和共现矩阵。
优点：训练很快；能够很好的利用数据（只需要收集一次统计信息）。
缺点：主要是捕获大多数词的相似性，没有word2vec模型抓取的其他模式；有些计数很大的单词往往得到不合适的重要性。
基于窗口/直接预测：Skip-gram模型。
缺点：缩放语料库的大小，要遍历每一个单一窗口，很低效，不能有效利用数据集的有效数据。
优点：在下游任务很多的情况下，能获得更好的性能；能抓取除相似性以外的很多复杂模式。

全局向量模型（Global Vectors）

组合上两种模型。
会遍历所有可能共现的词对，得到共现矩阵$P$，对语料库的每一对词，最小化内积和计数对数之间的距离。
目标函数：$$j(\theta )=\frac{1}{2}\sum _{i,j=1}^{W}f(P_{ij}(u_i^T{v}_j-log{P}_{ij}{)}^2$$
skip-gram模型试图一次捕获共现的一个窗口，Glove模型试图捕捉总体的单词词频数据。

拓展：一词多义

能不能真正找出一个词的多个不同意义。
通过稀疏编码来对多义词进行语境解释。
模型：每个单词向量都是由一个被称为语境向量的少量选定数的总和组成的。
$$v=\sum _{i=0}^D{\alpha }_i{A}_i+\eta$$
$v:$单词向量。
$A_i:$语境向量。
$\eta :$噪音。