自然语言处理（二）

神经序列模型：

机器学习：

优化目标函数：初始化参数、计算偏导数、更新参数、更新learning rate,直至收敛

Batch Gradient Descent 梯度下降法:

稳定可靠，更新速度慢。必须遍历所有的训练数据求偏导数，才能更新一次参数。

Stochastic Gradient Descent 梯度下降法:

不稳定，更新快。每看见一个数据点就更新，非常不稳定。

Mini-batch Gradient Descent ：Mini-batch梯度下降法

稳定，更新快。随机抽取M个数据点计算偏导数，更新参数。

神经网络 Neural Network：

模型：线性运算/非线性运算

loss function: cross-entropy

Regulation: Dropout

计算目标函数：Forward Propagation

计算***：Backward Propagation

优化目标函数：batch/stochastic/mini batch GD

超参数选择: Grid search/ Random search

判别式模型/生成试模型

线性/非线性运算/激活函数：

n-gram 潜在的问题：

1. neural network language model（NNLM）——对词的理解有限，只会数数不理解词义。可以把词分维度，提取每个维度的特征。获得丰富的信息。
2. Recurrent NN language model——n-gram上下文长度有限。

NNLM 非常准确，但是处理慢。非线性的。

embedding作用：对词的理解有限。每一维相当于机器学习出来的特征。

特征学习、表示学习：representation learning

ICLR会议——international conference on learning representations.

Word2Vec 是对NNLM的简化，只有线性模型，快+大数据。

exp：king-man+women=queen

用途：1. 寻找近义词

2. 作为别的自然语言任务的特征值

3. 作为别的neural network做初始化。

Vanilla(最简) RNN——Recurrent Neural Network 循环神经网络

ht = f ( ht-1, xt ) //ht 当前状态取决于上一步的状态和xt当前的输入，不断迭代。

LSTM——long short term memory 长短时记忆

尝试解决的问题：Vanishing Gradients 保证第一步对最后一步的error的影响一直存在。

RNN ——> LSTM——> 加上dropout性能提升。