Word2Vec的相关知识

Word2Vec的相关知识

1.预备知识

1.1 统计语言模型

统计语言模型是用来计算一个句子的概率的概率模型，通常是基于一个语料库来构建的。而一个句子的概率可以用一下的公式来表示：

​ $p(W)=p(w_1^T)=p(w_1,w_2,\cdot\cdot\cdot,w_T)$ $(1.1)$

其中，$W=w_1^T:=(w_1,w_2,...,w_T)$，表示由$T$个词$w_1,w_2,...,w_T$按顺序构成的一个句子。公式$(1.1)$可以使用链式法则分解为：

​ $p(w_1^T)=p(w_1)\cdot p(w_2|w_1)\cdot p(w_3|w_1^2)\cdot\cdot\cdot p(w_T|w_1^{T-1})$ $(1.2)$

1.2 n-gram 模型

首先假设，与它前面的所有词都相关，那么我们有：

​ $\large p(w_k|w_1^{k-1})=\frac{p(w_1^k)}{p(w_1^{k-1})}$ $(1.3)$

那么，根据大数定律，也就是在语料库足够大的情况下，我们有：

​ $\large p(w_k|w_1^{k-1})=\frac{count(w_1^k)}{count(w_1^{k-1})}$ $(1.4)$

其中，$count(w_1^k)$表示句子$w_1^k$在语料中出现的次数，$count(w_1^{k-1})$表示句子$w_1^{k-1}$在语料中出现的次数。

如果计算所有的词，那么计算量将会非常的大，因此使用$n$元模型。它就是一个词出现的概率与它的前面的$n-1$个词都相关。那么可以得到：

​ $\large p(w_k|w_1^{k-1}) \thickapprox p(w_k|w_{k-n+1}^{k-1})$

因此得到如下公式：

​ $\large p(w_k|w_1^{k-1}) \thickapprox \frac{count(w_{k-n+1}^k)}{count(w_{k-n+1}^{k-1})}$

$n$一般取$5$

1.3 sigmoid函数

​ sigmoid函数是神经网络中的激活函数之一，在不同的阈值下会有不同的输出结果。其定义为：

​ $\sigma \left ( x \right )=\frac{1}{1+e^{-x}}$

该函数的定义域为：$(-\infty,+\infty)$,值域为$(0,1)$.

https://upload.wikimedia.org/wikipedia/commons/thumb/2/2f/Error_Function.svg/600px-Error_Function.svg.png‘/ width=’400’>

​ 图1 sigmoid函数的图像

sigmoid的导函数有一下形式：

​ ${\sigma}' \left ( x \right )=\sigma(x)[1-\sigma(x)]$

由此可得到，函数$log\sigma(x)$和$log(1-\sigma(x))$的导函数分别为：

​ $[log\sigma(x)]'=1-\sigma(x)$, $[log(1-\sigma(x))]'=-\sigma(x)$

1.4 逻辑回归

​ 用于解决二分类问题，对样本数据$\left \{ {(X_i,y_i)}\right \}_{i=1}^{m}$为一个而分类问题的样本数据，其中$X_i\in\mathbb{R}^n$,$y_i\in\left \{ 0,1\right \}$,当$y_i=1$时，称对应的样本$X_i$为正例，反之为负例。

未完待续