NLP with DL Stanford -- 1. Word Vector Basic_stanford corenlp word embedding-CSDN博客

本文链接：https://blog.csdn.net/qq_25051779/article/details/53117342

带有NLP with DL Stanford标签的都是来自斯坦福课程(CS224n: Natural Language Processing with Deep Learning)的课程笔记。

Word Vector

自然语言处理本质上采用的依然是一个数学模型，单纯的文字文本对于大部分的模型来说是不可识别或者难以计算的，所以在处理之前我们必须将文本转化成模型可识别的输入。词向量(Word Vector)便是一种把词处理成向量的技术，也被称为Word Embedding。

其中最简单的一种表示被称为one-hot vector，即将每一个词表示为 $\Bbb R^{|V|\times1}$ 的向量，（所有词排成一定顺序，称为词典顺序）除了该词的词典序处的数字置为1，其余位置为0。 $|V|$ 是我们词汇集合（词典）的大小。举例如下：

ω a a r d v a r k = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ 100 ⋮ 0 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥, ω a n = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ 010 ⋮ 0 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥, ω a t = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ 001 ⋮ 0 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥, ω z e b r a = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ 000 ⋮ 1 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥

$\omega^{aardvark}=\left[ \begin{array}{c} 1\\0\\0\\\vdots\\0 \end{array} \right] ,\omega^{an}=\left[ \begin{array}{c} 0\\1\\0\\\vdots\\0 \end{array} \right] ,\omega^{at}=\left[ \begin{array}{c} 0\\0\\1\\\vdots\\0 \end{array} \right] ,\omega^{zebra}=\left[ \begin{array}{c} 0\\0\\0\\\vdots\\1 \end{array} \right]$

但是该表示方法有两个很明显的劣势，一是现实世界词汇量之大，容易造成维数灾难（Curse of Dimensionality），二是词汇之间是不相关的，这并不利于我们后续的一些进展。除了one-hot vector , 还有一些词向量的算法被提出，流行的比如Word2Vec，以及接下来介绍的SVD Based Methods生成的词向量。

SVD Based Methods

其中一种得到词向量的方法，是通过遍历数据集得到某种形式的矩阵 $X$ ，通过对 $X$ 做奇异值分解(SVD, Singular Value Decomposition)，得到 $USV^T$ ，我们使用 $U$ 的行向量作为我们词典中的词向量。

步骤如下：
1. 构造矩阵X：一般构造的是Word-Word Co-occurrence Matrix，即每一个词在行和列中按顺序各出现一次，数值代表每个词出现在目标词一个窗口长度内的次数（窗口长度1即是相邻）大小为 $|V|\times|V|$
2. 对X进行奇异值分解，得到 $X=USV^T$
3. 选择 $U$ 前k列作为词向量
4. $\frac{\sum^k_{i=1}\sigma_i}{\sum^{|V|}_{i=1}\sigma_i}$ 表示了选取的前k维的方差和

以上方法构造出来的词向量包含着足够的语义和句法信息，但也有不少问题：
1. 矩阵维数经常需要改变（新的词会不断产生）
2. 矩阵及其稀疏，因为绝大多数词不会共同出现
3. 矩阵总体上维数非常高（ $\approx10^6\times10^6$ ）
4. 训练的时间复杂度为平方
5. 需要在X中做一些修正以解决字频率极大的不平衡(Requires the incorporation of some hacks on X to account for the drastic imbalance in word frequency)