转载来源:https://zhuanlan.zhihu.com/p/23270674
深度学习---反向传播的具体案例
最近遇到一位小师弟,他让我给他推导一下前向传播和反向传播过程,于是我埋头在白纸上一步一步推导,最后,小师弟特别开心,在此过程中,我也更一步认识了这个知识点,感觉很开心!O(∩_∩)O~~![](https://i-blog.csdnimg.cn/blog_migrate/5da662210c12c8426f0e6e8aa3f7e063.jpeg)
![](https://i-blog.csdnimg.cn/blog_migrate/7e313ebbc0544ae36458a9e88a0b56f0.jpeg)
接下来我用Matt Mazur的例子,来简单告诉读者推导过程吧(其实就是链式)!
![](https://i-blog.csdnimg.cn/blog_migrate/a97f56f9647fac927bd76ed694d3265f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/69dbcb31f98403888da5b6de0e3dc7ce.png)
先初始化权重和偏置量,得到如下效果:
![](https://i-blog.csdnimg.cn/blog_migrate/040b9322a74b1ca9e7870976e71c26b6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bfa52a2ae7b2c0f72511f0e43eef42a1.png)
前向传播
- 先计算
的所有输入:
,代入数据可得:
;
- 然后利用logistic函数计算得
的输出:
;
- 用同样的方法得
;
对输出层神经元重复这个过程,使用隐藏层神经元的输出作为输入。这样就能给出的输出:
,代入数据可得:
,则其输出为:
。
同样可以得到。
开始统计所有的误差
![[公式]](https://i-blog.csdnimg.cn/blog_migrate/6a2cab6a5d4c708f1e7c4b617fbb232c.png)
如上图,的原始输出为0.01,而神经网络的输出为0.75136507,则其误差为:
![[公式]](https://i-blog.csdnimg.cn/blog_migrate/e2d866f3af344eee75911b02df01f866.png)
同样可得 。
综合所述,可以得到总误差为:。
反向传播
输出层对于,想知道其改变对总误差有多少影响,于是得:
。
通过链式法则可以得到:
![[公式]](https://i-blog.csdnimg.cn/blog_migrate/d69be239c514a1ab76d551fefe1a5778.png)
其实如下图所示,其实是一直在做的就是这个:
![](https://i-blog.csdnimg.cn/blog_migrate/6873b91a83ce9fb08b41327ea03badae.png)
![](https://i-blog.csdnimg.cn/blog_migrate/556dda2f28c681e5ff2bc67e66f11872.png)
![](https://i-blog.csdnimg.cn/blog_migrate/64140b13fb200ace1cd5c27133749e18.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b1acbb6eb7605060e3629f41f380468b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/a4acb0e794add9a2dd18cdd44ba5671b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f6ffac8eaa4cca04b508b45626c011f2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5e6ff000a9f2eede68c06a75eb8e26d0.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3c397ef0d9991d7afe068d6762c2c745.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6429b7c0bcb784623540d8f87f8061a9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b9748eb9bc47934c8f1c9fa7ad854716.png)
![](https://i-blog.csdnimg.cn/blog_migrate/dc45e601b34ab14b65d699982cec4d37.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e24044938d8c3ecde391759260ea0f3e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/adfad9b16f980ea3734df3aa82b09f25.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d9e60aeaba138bb1748e7b1c76490be0.png)
在有新权重导入隐藏层神经元(即,当继续下面的反向传播算法时,使用原始权重,而不是更新的权重)之后,执行神经网络中的实际更新。
隐藏层
我们需要就算:
![](https://i-blog.csdnimg.cn/blog_migrate/bfe83d7961ef9271af9d051fe23ebccc.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ced18aefca8029cc86063db42add2d0c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7deb692e1e7ad75ffd2858f7059c79e8.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b1c797072597d013d0bccb4df2109bec.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f1d4db92f11f1a10f08d8b371fc0db7d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9b0a9ca86d92857e4f0a2a77b1441aea.png)
可知:
![](https://i-blog.csdnimg.cn/blog_migrate/9c10d96fa1c66c655ec68b9fb3937a3e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/34884b905dd9a303a613d2301433103e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b5a9493eb7d7a60a12889eb0f06a078c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/2c4cc0661dc9273b1e5b926b0087a5f5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e00e720965ea2f19242b3a2828f545dd.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f0ec894ab177e5eb1f3703c91195a38d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0ea96c4126ec9dede55e610fce206492.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0037a419508efd822afcc6d2ebc7ecf9.png)
结合可得:
![](https://i-blog.csdnimg.cn/blog_migrate/6699d709618c92343eca01969639ad9c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b9f4b5840c5897ff8a7255380636c5f9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7074da632593bdcf21506d0730daa545.png)
![](https://i-blog.csdnimg.cn/blog_migrate/afa4c30c6ee819b6fbfbde56130680df.png)
因此:
![](https://i-blog.csdnimg.cn/blog_migrate/0dccd6794d9d70e81f432b66c555c411.png)
![](https://i-blog.csdnimg.cn/blog_migrate/18f29002a19378c036c555b206fd10a6.png)
我们知道logistic函数:
![](https://i-blog.csdnimg.cn/blog_migrate/bd4c80ecda14391372f2849c1ea49a3e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/351a7749fd52a24aee65afd9c21d8f6d.png)
所以其求导为:
![](https://i-blog.csdnimg.cn/blog_migrate/cf107da3bd5dc13e9f50c9822a8eca4e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/68d80f481885fc7c97aa9a5a73bf2589.png)
同样有前面前向传播可以知道:
![](https://i-blog.csdnimg.cn/blog_migrate/86230f5943a56b5114415920302e3c1a.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7651f68ba599a3c33f8ca1c64236d716.png)
得:
![](https://i-blog.csdnimg.cn/blog_migrate/cf9ea1680b51c2ba3157f2b425bc45f1.png)
![](https://i-blog.csdnimg.cn/blog_migrate/a98084e8dd39c907ecf03d3540ad1a3a.png)
结合可得:
![](https://i-blog.csdnimg.cn/blog_migrate/b8028bfb6c49add22c3906b71d6f9317.png)
![](https://i-blog.csdnimg.cn/blog_migrate/a8ac8108081b4d4d4fa255431eda264e.png)
现在可以更新了。
![](https://i-blog.csdnimg.cn/blog_migrate/860cf94e7f86f35ef42f1a465a451dac.png)
![](https://i-blog.csdnimg.cn/blog_migrate/eaf81366457daf3734d69f4e5dab8799.png)
![](https://i-blog.csdnimg.cn/blog_migrate/64073ee15eb702befd10884a64758ce5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/c1a6396133b0494ced51c89917d4f6ed.png)
最后,更新了所有的权重! 当最初前馈传播时输入为0.05和0.1,网络上的误差是0.298371109。 在第一轮反向传播之后,总误差现在下降到0.291027924。 它可能看起来不太多,但是在重复此过程10,000次之后。例如,错误倾斜到0.000035085。
在这一点上,当前馈输入为0.05和0.1时,两个输出神经元产生0.015912196(相对于目标为0.01)和0.984065734(相对于目标为0.99)。很接近了O(∩_∩)O~~