目录
3、求解参数第二步——目标函数对每一个参数求偏导(BP算法目的所在)
三、多层神经网络的向量模型以及BP算法求参(w(m)、b(m))流程步骤
1)推导利用BP求偏导(链式法则)——已知第m+1层求第m层
一、后向传播算法的本质——梯度下降法求局部极值
这里需要注意的是区分SVM和BP,SVM找的是全局的最优解,BP寻找的是局部的最优解
1、w迭代公式的合理性
w的迭代公式是为了让函数值一直减小,直到在局部达到最小,即导数为0,那迭代公式能否完成极值点的寻找呢?证明如下:
从上图可知,通过w的迭代公式,可以让函数值随w的迭代而一直减小,直到找到极值点
二、后向传播算法的推导(以二层神经网络为例)
1、问题描述(创建目标函数loss函数,求参数)
下面为二层神经网络,有9个未知参数,目的是在让E函数值最小的情况下求解这9个参数
2、求解参数的流程(四步曲)
3、求解参数第二步——目标函数对每一个参数求偏导(BP算法核心)
第二步结束,执行第三步和第四步,直到满足条件时所有的参数w,b就算出来了
>>>问题1:为什么叫做后向传播算法(BP)?
答:如下图所示,
我们首先要从前往后通过输入的X来计算,a和z、y的表达式(前向计算),
然后再从后到前依次计算对各个参数的偏导,因此BP算法的目的就是用来求目标函数对参数的偏导的,所以叫后向传播算法