BP神经网络

1.BP神经网络的结构

BP神经网络由输入层、输出层和之间若干层隐含层构成，每一层有若干个节点，层与层之间节点的链接状态通过权重来体现。

一个隐含层——浅层神经网络

多个隐含层——深度学习神经网络

2.感知器——BP中的单个节点

包括  输入项 、 权重 、 偏置 、激活函数 、 输出组成。

（输入*权重+偏置）的总和由激活函数处理等于输出。

3.BP的核心步骤

训练样本

     +    →      计算    →得到输出结果       →与期望比较     →得到满意的结果

                                                                           ↓                            ↓

   权重               ←                调整       ←      不满意                      测试     →  应用

4.BP的正向传播

数据通过感知器节点经过层层计算得到输出的过程。

5.BP的反向传播

计算过程中把结果与期望结果进行比较，将两者的误差进行反向传播的过程，具体过程为通过多次迭代，不断对网络上各个节点的所有权重进行调整，权重调整的方法才有梯度下降法。

6.通过多次迭代的方法寻找函数的最小值

解析解：给出方程的精确解，满足任意精度。

数值解：得到的近似解，满足特定精度。

斜率大，步长大，斜率小，步长小，步长过大会震荡无解。

损失函数 Loss

7. BP反向传播为什么选择梯度下降法。

变化最快在数学上用梯度的概念来描述。

梯度下降法是训练神经网络的一种普遍方法。

 梯度是偏导数组成的矢量，指向变化最快的方向。

局部梯度：单个节点上的梯度

计算反向函数： （求导输入函数，代入参数）*上游梯度

sigmoid函数的性质

MAX取大函数，小的为0（没有传播），大的等于上游函数。MIN函数相反。

上游梯度为上游梯度加和。