深度学习小白——反向传播

最新推荐文章于 2024-01-27 01:02:32 发布

MargaretWG

最新推荐文章于 2024-01-27 01:02:32 发布

阅读量1.3k

点赞数

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/margretwg/article/details/66974869

版权

这篇博客详细解释了反向传播的概念，通过链式法则理解如何从输出反向计算每个参数的梯度。作者以加法门、sigmoid函数为例，阐述了在反向传播中如何处理不同门单元的梯度计算，并强调了分段计算和中间变量缓存的重要性。最后，通过一个4-layer简化模型展示了反向传播的过程。

摘要由CSDN通过智能技术生成

一、理解

函数关于每个变量的导数指明了整个表达式对于该变量的敏感程度

梯度▽f是偏导数的向量，所以有 $\nabla f(x)=[\frac{\partial f}{\partial x},\frac{\partial f}{\partial y}]=[y,x]$ ，

直观理解链式法则，f=q*z, q=x+y ,先进行前向传播，从输入计算到输出（绿色），然后反向传播从末端开始，根据链式法则递归地向前计算梯度，一直到输入端。

在整个反向传播过程中，每个门单元应将回传的梯度乘以它

最低0.47元/天解锁文章

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
深度学习小白——反向传播

一、理解函数关于每个变量的导数指明了整个表达式对于该变量的敏感程度梯度▽f是偏导数的向量，所以有，直观理解链式法则，f=q*z, q=x+y ,先进行前向传播，从输入计算到输出（绿色），然后反向传播从末端开始，根据链式法则递归地向前计算梯度，一直到输入端。在整个反向传播过程中，每个门单元应将回传的梯度乘以它对其输入的局部梯度，从而得到整个网络的输出对该门单元的每个输入值的梯
复制链接

扫一扫

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。