NNLM学习笔记

原论文： http://jmlr.org/papers/volume3/bengio03a/bengio03a.pdf
其他资料：https://blog.csdn.net/sxhlovehmm/article/details/41252125

NNLM（Neural Probabilistic Language Model），使用神经网络来对语言模型进行建模。
语言模型的公式如下：
$$\hat{P}(w_1^T)=\prod _{t=1}^T\hat{P}(w_t|{w\text{w}w}_1^{t-1})$$
其中$w_t$是第$t$个词，${w\text{w}w}_i^j=(w_i,w_{i+1},...,w_j)$。
也就是用前几个词去预测后一个词。一般，上面的模型用起来太困难，所以使用n元语言模型：
$$\hat{P}(w_1^T|{w\text{w}w}_1^{t-1})\approx \hat{P}(w_t|{w\text{w}w}_{t-n+1}^{t-1})$$
也就是认为，当前词出现的概率仅与前$n-1$个词有关。

NNLM的结构：

前向传播：
$$x\text{x}x=(C(w_{t-1}),C(w_{t-2}),C(w_{t-3}),...,C(w_{t-n+1}))$$
$$y\text{y}y=b\text{b}b+W\text{W}Wx\text{x}x+U\text{U}Utanh(d\text{d}d+H\text{H}Hx\text{x}x)$$
$$\hat{P}=softmax(y\text{y}y)$$
基于SGD的训练方法：
$$\theta \leftarrow \theta +ϵ\frac{\partial log\hat{P}}{\partial \theta }$$
其中，$\theta =(b\text{b}b,d\text{d}d,W\text{W}W,U\text{U}U,H\text{H}H,C)$

重点：

两个基本步骤：

1. $C$：一个将单词表$V$中的某元素$i$转换为向量$C(i)\in {\mathbb{R}}^m$的映射。它就是现在被称为的词向量或词嵌入。形式上讲，它是一个$|V|\times m$的参数矩阵。上式中，$x\text{x}x$就是输入序列中的词的词向量构成的向量，或者说，它是一个$|V|\times m$矩阵。
2. g(.)：一个将输入单词的词向量转换为概率的映射。在上式中，$g(x\text{x}x)=softmax(y\text{y}y(x\text{x}x))$。此外，$g(.)$也可以是FFN、RNN等可学习的模型。

补充：

训练目标：最大化如下的损失函数：
$$L=\frac{1}{T}\sum _{t}logf(w_t,w_{t-1},...,w_{t-n+1};\theta )+R(\theta )$$
其中，$R(\theta )$是正则项，原论文使用的是weight decay，但未用于bias上。$f$ 即 $\hat{P}$

其他内容，如训练算法、针对CPU的并行化方案等，参见原论文。