语言模型串烧

语言模型的发展实在是太快了，怎么才赶上NLP快车呢？

注：为了更佳的阅读体验，欢迎访问我的博客：Write Down Something

Word2Vec（2013年1月）

CBOW用上下文训练目标词，而Skip-gram用目标词去预测上下文。Word2Vec采用三层神经网络就可以训练，最后一层的输出是Softmax，因为Softmax需要计算全局的token，因此速度慢。为了提高训练速度，衍生出用Huffman树和负采样代替最简单的Softmax的训练方法。

GloVe（2014年1月）

Global Vectors for Word Representation。

Word2Vec的目的是预测，而GloVe的目的是将共现矩阵降维。不过共现矩阵的维度太大不可能直接构造出来用传统方法降维，所以GloVe的工作实际上可以理解为重构共现矩阵。

假设词i的出现次数为$X_i$，词i和词j的共现次数为$x_{i,j}$，那么词i和词j的共现频率就是$P_{ij}=X_{i,j}/X_i$。作者认为 两个词的相关程度是可以通过共现次数做比较的，就行下面这个表格：

$P_{ik}/P_{jk}$	单词j和单词k相关	单词j和单词k不相关
单词i和单词k相关	趋近于1	很大
单词i和单词k不相关	很小	趋近于1

而用词向量表示词义的时候，衡量两者近似程度就是用内积。用$v_i$、$v_j$、$v_k$分别表示词i、j、k的词向量，并用函数g(i,j,k)表示词向量i和词向量j谁更接近于词向量k，那么结合共现次数，就可以推知：

$$\frac{P_{i,k}}{P_{j,k}}=g(i,j,k)$$

代价函数为
$$J=\sum _{i,j,k}(P_{i,k}/P_{j,k}-g(i,j,k){)}^2$$

不过目前，计算所有g的代价是$O(n^3)$，作者将函数g展开，并最终得到了函数g的等价形式。首先是定义函数g，
$$g(i,j,k)=exp(v_i^T{v}_k-v_j^T{v}_k)=\frac{exp(v_i^T{v}_k)}{exp(v_j^T{v}_k)}$$

因此
$$\frac{P_{i,k}}{P_{j,k}}=\frac{exp(v_i^T{v}_k)}{exp(v_j^T{v}_k)}$$

那么只要等式上下对应相等，整个等式就成立了
$$P_{i,k}=exp(v_i^T{v}_k)$$

进一步，两边同时取对数
$$log(P_{i,k})=v_i^T{v}_k$$

这样代价函数化简为时间复杂度为$O(n^2)$的
$$J=\sum _{i,k}(log(P_{i,k})-v_i^T{v}_k{)}^2$$

但是实际上这里存在一个bug：$log(P_{i,k})$不具备对称性，而 v i