深度学习与NLP

参考

1 神经网络入门

1.1 神经元模型MP

三个已知属性的值是a1，a2，a3（特征），未知属性的值是z（目标）。z可以通过公式计算出来。

假设特征与目标之间确实是线性关系，并且我们已经得到表示这个关系的权值w1，w2，w3。那么，我们就可以通过神经元模型预测新样本的目标。

但是，MP模型中，权重的值都是预先设置的，因此不能学习。

1.2 单层神经网络（感知器）

拥有一个计算层的网络

• 在原来MP模型的“输入”位置添加神经元节点，标志其为“输入单元”
• 假如我们要预测的目标不再是一个值，而是一个向量，在输出层再增加一个“输出单元”
  
  a = [a1，a2，a3]T （3 * 1）
  z = [z1，z2]T （2 * 1）
  =>g(W * a) = z ， W （2 * 3）

与神经元模型不同，感知器中的权值是通过训练得到的。因此，根据以前的知识我们知道，感知器类似一个逻辑回归模型，可以做线性分类任务。

我们可以用决策分界来形象的表达分类的效果。决策分界就是在二维的数据平面中划出一条直线，当数据的维度是3维的时候，就是划出一个平面，当数据的维度是n维时，就是划出一个n-1维的超平面。

下图显示了在二维平面中划出决策分界的效果，也就是感知器的分类效果。
　　

1.3 两层神经网络（多层感知器）

具有非常好的非线性分类效果

需要说明的是，至今为止，我们对神经网络的结构图的讨论中都没有提到偏置节点（bias unit）。事实上，这些节点是默认存在的。它本质上是一个只含有存储功能，且存储值永远为1的单元。在神经网络的每个层次中，除了输出层以外，都会含有这样一个偏置单元。正如线性回归模型与逻辑回归模型中的一样。

1.4 多层神经网络（深度学习）

多层神经网络中，输出也是按照一层一层的方式来计算。从最外面的层开始，算出所有单元的值以后，再继续计算更深一层。只有当前层所有单元的值都计算完毕以后，才会算下一层。有点像计算向前不断推进的感觉。所以这个过程叫做“正向传播"

2 深度学习模型

2.1 RNN
2.2 LSTM