【算法分析】深度学习框架-前向反向传播原理

最新推荐文章于 2024-01-18 02:08:26 发布

HaoBBNuanMM

最新推荐文章于 2024-01-18 02:08:26 发布

阅读量590

点赞数 2

文章标签：人工智能机器学习深度学习算法

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/HaoBBNuanMM/article/details/118876515

版权

目录

背景

深度学习框架如Tensorflow Pytorch 等最重要的功能之一即自动对网络模型进行了前向传播和反向梯度传播计算，从而对应用开发人员屏蔽了底层算法实现的细节，很容易进行网络模型的training、evalution、testing 最终构建符合AI应用场景需求的网络模型及其参数，本文旨在用通俗易懂的方式解释前向传播（Forward Pass）和反向传播（Backward Pass）的过程

目标

深度学习的目标

如上图所示，所谓深度学习的训练过程，它的目标就是让”损失函数尽快的收敛到阈值“，而在这是一个通过SGD算法持续更新整个网络的参数，让损失函数持续减小的迭代过程

核心方法

自动化网络参数更新

深度学习框架实现了自动化更新网络参数，从而让训练过程对应用开发人员透明，这里核心要解决问题即求出损失函数loss对网络中各个参数w b c 的偏导数，即可以获得网络参数更新的 $\Delta$ $\Theta$ 增量，而理解该过程需要的数学常识即链式求导规则

前向传播

神经网络示例

如上图构建的神经网络

网络的损失函数是loss
每一层网络的输出是z
激活层输出是a
网络中的参数是w
目标是计算损失函数loss对网络参数w的偏导数 $\frac{\partial loss }{\partial w}$

求解loss对网络参数w1的偏导

求解 $\frac{\partial loss}{\partial w1}$ 的过程可以转换为求解红框的部分

前向传播计算过程

求解loss对w的偏导数在网络的前向过程中可以先计算出其中的一部分（上图中的蓝框）

反向传播

延迟计算loss对z1的偏导数

· 求解 $\frac{\partial loss}{\partial z1}$ 的过程可以推迟到计算 $\frac{\partial loss}{\partial z3}$ 与 $\frac{\partial loss}{\partial z4}$

同样求解 $\frac{\partial loss}{\partial z3}$ 和 $\frac{\partial loss}{\partial z4}$ 的过程可以延迟到下一层网络

依次类推，递归到最后一层，即可以计算出所有的结果

隐含的反向传播网络

如上图所示，一个可见的网络模型，还有一个隐含的反向传播网络在计算loss对z的偏导数

Loss对w偏导数的组成部分

如上图所示，前向和反向传播各自计算了Loss对w偏导数的一部分，当完成一次完整的前向和反向传播计算后，就可以计算出目标 $\frac{\partial loss}{\partial w}$

结论

更新网络参数

迭代更新网络参数实现训练过程

如上图所示，深度学习网络的training过程，就是一个反复执行前向和反向传播过程，更新网络参数，减少loss的过程，整个动态的过程可以用下面的动画表达

正方向传播训练过程动画示意

关注

2
点赞
踩
4

收藏

觉得还不错? 一键收藏
2
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

评论 2

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。