机器学习——人工神经网络之后向传播算法（BP算法）

目录

 

一、后向传播算法的本质——梯度下降法求局部极值

1、w迭代公式的合理性

二、后向传播算法的推导（以二层神经网络为例）

1、问题描述（创建目标函数loss函数，求参数）

2、求解参数的流程（四步曲）

3、求解参数第二步——目标函数对每一个参数求偏导（BP算法目的所在）

>>>问题1：为什么叫做后向传播算法（BP）？

>>>问题2：非线性函数fai的改造（重要）——激活函数

1）fai的改造函数形式一

2）fai的改造函数形式二

3）fai的改造函数形式三

4）fai的改造函数形式四

三、多层神经网络的向量模型以及BP算法求参（w(m)、b(m)）流程步骤

1、多层神经（l层）网络的向量模型（前向传播流程）

1)关于多层神经网络向量模型中的一些定义

2）多层神经（l层）网络的向量模型

 >>>问题3：上图中w（m）,b(m)是怎么变化的？

2、BP算法（后向传播算法）流程

1）推导利用BP求偏导（链式法则）——已知第m+1层求第m层

2）所有对参数w,b的偏导

3）求解所有w,b参数小结（求解流程）

>>>问题4：w,b迭代公式中的α怎么进行取值？

---

一、后向传播算法的本质——梯度下降法求局部极值

这里需要注意的是区分SVM和BP，SVM找的是全局的最优解，BP寻找的是局部的最优解

1、w迭代公式的合理性

w的迭代公式是为了让函数值一直减小，直到在局部达到最小，即导数为0，那迭代公式能否完成极值点的寻找呢？证明如下：

从上图可知，通过w的迭代公式，可以让函数值随w的迭代而一直减小，直到找到极值点

二、后向传播算法的推导（以二层神经网络为例）

1、问题描述（创建目标函数loss函数，求参数）

下面为二层神经网络，有9个未知参数，目的是在让E函数值最小的情况下求解这9个参数

2、求解参数的流程（四步曲）

3、求解参数第二步——目标函数对每一个参数求偏导（BP算法核心）

第二步结束，执行第三步和第四步，直到满足条件时所有的参数w,b就算出来了

 

>>>问题1：为什么叫做后向传播算法（BP）？

答：如下图所示，

我们首先要从前往后通过输入的X来计算，a和z、y的表达式（前向计算），

然后再从后到前依次计算对各个参数的偏导，因此BP算法的目的就是用来求目标函数对参数的偏导的，所以叫后向传播算法</