神经网络与误差反向传播算法

神经网络与误差反向传播算法

1 神经网络

1.1 神经网络

大量（结构简单的、功能接近的）神经元节点按一定体系架构连接成的网状结构——就是大脑的结构

1.2 神经网络的作用

分类、模式识别、连续值预测

1.3 神经元模型

每个神经元都是一个结构相似的独立单元，它接受前一层传来的数据，并将这些数据的加权和输入非线性作用函数中，最后将非线性作用函数中，最后将非线性作用函数的输出结果传递给后一层。

1.4 人工神经网络

基础神经网络
神经元：输入向量x；权重向量w；偏置标量b；激活函数sigmoid

浅网络：3-5层；优化；梯度下降；BP后向传播（链式规则）

1.5 前馈神经网络

前馈神经网络，是人工神经网络的一种，各神经元从输入层开始，接收前一级输入，并输出到下一级，直至输出层。整个网络中无反馈，可用一个有向无环图表示。
前馈神经网络采用一种单向多层结构。其中每一层包含若干个神经元，同一层的神经元之间没有互相连接，层间信息的传送只沿一个方向进行。
其中第一层称为输入层。最后一层为输出层.中间为隐含层。隐含层可以是一层，也可以是多层。

2 Delta学习规则

Delta学习规则是一种有监督学习算法，该算法根据神经元的实际输出与期望输出差别来调整连接权，其数学表示如下：

3 梯度

3.1 梯度下降

这是一个表示参数w与目标函数J（w）的关系图红色的部分是表示J（w）有着比较高的取值，需要能够让J（w）的值尽量的低。也就是深蓝色的部分。wl，w2表示w向量的两个维度。

先确定一个初始点，将w按照梯度下降的方向进行调整，就会使得J（w）往更低的方向进行变化

3.2 梯度下降示意

想象一下，你如何能在被蒙住眼睛的情况下，从山上走下来?
先用你灵巧的脚，探一探脚下的山地，哪个方向坡度最陡?（计算梯度方向）
朝着这个方向迈一步;（沿梯度方向下降）
一大步，还是一小步?（学习速率）
持续这个过程直到平地（迭代）
可不能有悬崖哦………（目标函数处处可导）

3.3 输出层权重改变量

3.4 隐藏层权重改变量

3.5 隐含层权重改变量

3.6 误差传播迭代公式

输出层和隐藏层的误差传播公式可统一为∶权重增量=-1学习步长目标函数对权重的偏导数
目标函数对权重的偏导数=-1残差当前层的输入残差= 当前层激励函数的导数*上层反传来的误差
上层反传来的误差=上层残差的加权和

3.7 隐藏层误差反向传播示意

4 简单的BP算例

举例：

5 典型的机器学习步骤

5.1 典型的机器学习的思路都是这样的

从开始的通过传感器来获取数据。然后经过预处理、特征提取、特征选择，再到推理、预测或者识别。最后一个部分，也就是机器学习的部分，绝大部分的工作是在这方面做的。

5.2 特征对学习的影响

一般而言，机器学习中特征越多，给出信息就越多，识别准确性会得到提升;
但特征多，计算复杂度增加，探索的空间就大，训练数据在全体特征向量中就会显得稀疏，影响相似性判断;
更重要的是，如果有对分类无益的特征，反而可能干扰学习效果
结论∶特征不一定越多越好，获得好的特征是识别成功的关键。需要有多少个特征，需要学习问题本身来决定。

6 深度学习的特征

深度学习，是一种基于无监督特征学习和特征层次结构的学习模型，其实是对神经网络模型的拓展。

6.1 “连接主义”的兴衰史

某种意义上说，AI的兴衰史，其实就是“连接主义”（感知机->神经网络->深度学习）的兴衰史

6.2 深度学习与神经网络的区别