pytorch：反向传播算法

最新推荐文章于 2023-11-23 16:12:27 发布

「已注销」

最新推荐文章于 2023-11-23 16:12:27 发布

阅读量659

点赞数 1

文章标签： pytorch 算法人工智能

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/weixin_62637793/article/details/121320914

版权

本文介绍了PyTorch中的反向传播算法，利用链式法则逐步讲解多层模型的梯度计算。从最简单的两层模型开始，通过替换公式，展示了如何将梯度传递至更深的层。在每一层，输出通过激活函数如sigmoid转换，然后逐步反向计算直至输入层。通过迭代过程，得出任意层的梯度计算公式，其中包含了该层的输出和来自上一层的信息。

摘要由CSDN通过智能技术生成

首先介绍链式法则

从前面的学习中，我们学习到多层输出感知机的梯度计算公式为 $\frac{\partial E}{\partial w_{ik}}= \left ( o_{k}- t_{k}\right )o_{k}\left ( 1-o_{k} \right )o_{J}^{j}$

在这里，我们通过 $\delta _{K}^{K}$ 代替 $\left ( o_{k}-t_{k} \right )o_{k}\left ( 1-o_{k} \right )$ 作为一种方式，即此时原公式变为

最低0.47元/天解锁文章

「已注销」

关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
pytorch：反向传播算法

首先介绍链式法则从前面的学习中，我们学习到多层输出感知机的梯度计算公式为在这里，我们通过代替作为一种方式，即此时原公式变为其中中包含k个变量，即...。对于再多一层的模型，反向求梯度即为其中即为经过线性激活函数变换得到的，也就是经过了sigmod函数，所以同样的也是同样的道理。然后（是第一层的输入）然后按上面描述的过程，将最终公式变为然后我们把后面的公式我们把这叫做从当前节点开始（也就是j层的节点开始）到最终输出层节点的信息。通过上述这种迭代过程，我们可以..
复制链接

扫一扫

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。