学习《神经网络与深度学习》笔记6

最新推荐文章于 2024-09-07 20:29:12 发布

颜值为0

最新推荐文章于 2024-09-07 20:29:12 发布

阅读量118

点赞数

分类专栏：机器学习笔记

本文链接：https://blog.csdn.net/Buringzhb/article/details/90954085

版权

机器学习笔记专栏收录该内容

6 篇文章 0 订阅

订阅专栏

2019年6月5日晚上9点30分

反向传播四个基本方程的证明

第一个方程

我们定义了

$\delta _{j}^{L}=\frac{\partial C}{\partial z_{j}^{L}}$

应用链式法则，我们可以重写上面的等式得到

$\delta _{j}^{L}=\sum_{}^{k}$ $\frac{\partial C}{\partial a_{k}^{L}}\frac{\partial a_{k}^{L}}{\partial z_{j}^{L}}$

这是在输出层所有神经元k上运行的。当然，第k个神经元的输出激活值 $a_{k}^{L}$ 只依赖于当k=j时第j个神经元的输入权重 $z_{j}^{L}$ 。所以当k≠j时， $\frac{\partial a_{k}^{L}}{\partial z_{j}^{L}}$ 就消失。

于是我们可以简化上面的等式为：

$\delta _{j}^{L}=\frac{\partial C}{\partial a_{k}^{L}}\frac{\partial a_{k}^{L}}{\partial z_{j}^{L}}$

又因为 $a_{j}^{L}=\sigma (z_{j}^{L})$ ，所以

$\delta _{j}^{L}=\frac{\partial C}{\partial a_{k}^{L}}{\sigma }'(z_{j}^{L})$

第二个方程

因为 $\delta _{k}^{l+1}=\partial C/\partial z_{k}^{l+1}$ ，我们重新写一下 $\delta _{j}^{l}=\partial C/\partial z_{j}^{l}$ ，应用链式法则可以得到

$\delta _{j}^{l}=\frac{\partial C}{\partial z_{j}^{l}}=\sum \frac{\partial C}{\partial z_{k}^{l+1}}\frac{\partial z_{k}^{l+1}}{\partial z_{j}^{l}}=\sum \frac{\partial C}{\partial z_{j}^{l}}\delta _{k}^{l+1}$

另外我们有关于上式的分量形式：

因为 $z_{k}^{l+1}=\sum \omega _{kj}^{l+1}a_{j}^{l}+b_{k}^{l+1}=\sum \omega _{kj}^{l+1}\sigma( z_{j}^{l})+b_{k}^{l+1}$ ，

两边同时做微分得到

$\frac{\partial z_{k}^{l+1}}{\partial z_{j}^{l}}=\omega _{kj}^{l+1}{\sigma }'(z_{j}^{l})$

代入 $\delta _{j}^{l}=\sum \frac{\partial C}{\partial z_{j}^{l}}\delta _{k}^{l+1}$ 得到

$\delta _{j}^{l}=\sum \omega _{kj}^{l+1}\delta _{k}^{l+1}{\sigma }'(z_{j}^{l})$

颜值为0

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

学习 《神经网络与深度学习》 笔记6

学习《神经网络与深度学习》笔记6