深度学习---反向传播的具体案例

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/gzq0723/article/details/53138495

这也是我从我自己知乎(作者:EdisonGzq
链接:https://zhuanlan.zhihu.com/p/23270674)筛选过来,请大家多多指点!

最近遇到一位小师弟,他让我给他推导一下前向传播和反向传播过程,于是我埋头在白纸上一步一步推导,最后,小师弟特别开心,在此过程中,我也更一步认识了这个知识点,感觉很开心!O(∩_∩)O~~

这里写图片描述

接下来我用Matt Mazur的例子,来简单告诉读者推导过程吧(其实就是链式)!
这里写图片描述

先初始化权重和偏置量,得到如下效果:
这里写图片描述

这里写图片描述
这里写图片描述
这里写图片描述

其实如下图所示,其实是一直在做的就是这个:

这里写图片描述

这里写图片描述

这里写图片描述

在有新权重导入隐藏层神经元(即,当继续下面的反向传播算法时,使用原始权重,而不是更新的权重)之后,执行神经网络中的实际更新。

隐藏层
我们需要就算:
这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述

最后,更新了所有的权重! 当最初前馈传播时输入为0.05和0.1,网络上的误差是0.298371109。 在第一轮反向传播之后,总误差现在下降到0.291027924。 它可能看起来不太多,但是在重复此过程10,000次之后。例如,错误倾斜到0.000035085。
在这一点上,当前馈输入为0.05和0.1时,两个输出神经元产生0.015912196(相对于目标为0.01)和0.984065734(相对于目标为0.99)。很接近了O(∩_∩)O~~

没有更多推荐了,返回首页