NLP基础学习（三）

NLP基础学习（三）

Efficient Estimation of Word Representations in Vector Space
论文精读

对比模型：
NNLM（前馈神经网络语言模型）
RNNLM（循环神经网络语言模型）

第一种
Feedforward Neural Net Language Model

输入层：

隐藏层：

输出层：

softmax两个性质：
1、得到的所有数都是0到1之间的
2、所有数相加是1

困惑度的计算（困惑度与loss之间的关系）：

对困惑度求log就是求LOSS
即：log(PP(s)) = Loss
所以：

网络结构回顾：
1、仅对一部分输出进行梯度传播（比如对于一些例如the a and的词汇不进行或者降低梯度传播）
2、引入先验知识，如词性等（实验证明，模型在一定规则下也可以对词性进行自主学习）
3、解决一词多义的问题
4、加速softmax层。（1、层次softmax 2、负采样）

基于循环神经网络的语言模型