传统神经网络语言模型与word2vec 篇（一）

最新推荐文章于 2024-09-08 21:00:00 发布

huangrs098

最新推荐文章于 2024-09-08 21:00:00 发布

阅读量889

点赞数 2

分类专栏：自然语言处理nlp

本文链接：https://blog.csdn.net/qq_35549634/article/details/106500870

版权

自然语言处理nlp 专栏收录该内容

8 篇文章 1 订阅

订阅专栏

神经网络语言模型NNLM（Neural Network Language Model）
用神经网络来训练语言模型的思想来源于2003年Bengjo发表的《A Neural Probabilistic Language Model》，下面我们来详细分析传统的神经网络模型—神经概率模型，即上面提到的Bengjo发表的NPLM的模型结构（包括输入层，隐藏层，输出层）。
整体模型：
在这里插入图片描述
在训练过程中，输入是一串词序列，输出是该序列下一个词的概率值。假设有一组序列： $w_{1},w_{2},\cdot \cdot \cdot ,w_{t}$ ，其中 $w_{i} \epsilon v, v$ 为所有单词的集合，最终训练的模型公式如下：
$f(w_{t},w_{t-1},\cdot \cdot \cdot ,w_{t-n+1}) = P(w_{t}=i/contenxt)=P(w_{t}/w^{t-1}_{1})$
参数解释：
$w_{t}$ 为序列中的第t个word， $w_{t-n+1}$ 为输入序列长度为n时的第一个单词。 $w^{t-1}_{1}$ 为输入序列从第一个word到第t-1个word的子序列。
该模型需要满足如下两个条件，即所求概率值大于0，所有word出现的概率之和为1
$f\left(w_{t}, w_{t-1}, \cdots, w_{t-n+2}, w_{t-n+1}\right)>0$
$\sum_{i=1}^{|V|} f\left(i, w_{t-1}, \cdots, w_{t-n+2}, w_{t-n+1}\right)=1$

输入层： 从one hot embedding映射到distribution representation
把输入word的0,1稀疏embedding通过权重矩阵映射到低纬度的实数矩阵。
在这里插入图片描述
C实际上就是一个 |V| x m的自由参数矩阵，|V| 表示词表的大小， m 表示每个词的维度。
$\epsilon R^{|V|*m}$ 为映射矩阵，将输入的每个词映射为一个特征向量。 $\epsilon R^{m}$ 表示词典中第i个词对应的特征向量，其中m表示特征向量的维度。最后得到的是一个(n-1) x m维向量。

隐藏层
在这里插入图片描述
参数解释：
h为隐藏层神经元的个数， $H\epsilon R^{h*(n-1)m}$ 为输入层到隐藏层的权重矩阵， $d\epsilon R^{h}$ 是隐藏层的偏置矩阵。

输出层
输出层受到隐藏层输出a和输入层输出x的影响。在这里插入图片描述
输入为 $x=(C(w_{t-n+1}),...,C(w_{t-1}))$ 。 $W\epsilon R^{|V|*(n-1)m}$ 是可选参数，，如果输入层与输出层没有直接相连（如图中绿色虚线所示），则可令W=0 。 $\epsilon R^{|V|*h}$ 是隐含层到输出层的权重矩阵。 $d\epsilon R^{h}$ 和 $b\epsilon R^{|V|}$ 是隐藏层的偏置矩阵。