在上一个博客神经网络一:介绍,示例,代码 中,介绍了神经网络的基本算法Backpropagation Algorithm,该算法有很多优点,具体的可自行查阅其他资料或博客,本文主要针对Backpropagation Algorithm中运行速度快的特点进行浅谈。
假设我们有一个固定样本集 ,它包含 个样例。具体来讲,对于单个样例 ,其代价函数为:
-
来直接计算呢?下面进行分析。
-
- 如果用直接计算的话,为了求:
- 用微积分的乘法法则:把代价函数J(W,b;x,y)只当做是权重W(或偏向值b)的函数,于是定义:
- ,(ε>0且ε->0)。根据这个公式也能求出权重的偏导,但到具体计算时,假设神经网络有1百万个权重需要更新,则对于每一个权重w,都需要通过遍历一次神经网络模型来更新,1百万个权重的话就要遍历1百万次!
-
而这只是针对一个训练集数据而言,数据更多的话需要花费更多的计算量来更新每一个权重。
-
- 而用Backpropagation Algorithm的优势就在于,只需要一正一反遍历两次就可以把所有的偏导计算出来。相比于直接算偏导,就是2:1000000的计算比例。具体的Backpropagation Algorithm可参见上一个博客。
-
-
-
-
我们最后用得到:
,
最后计算出:
。
为什么我们不能直接根据偏导公式