【算法分析】深度学习框架-前向反向传播原理

最新推荐文章于 2024-01-18 02:08:26 发布
最新推荐文章于 2024-01-18 02:08:26 发布
阅读量586 收藏 4
点赞数 2
文章标签： 人工智能 机器学习 深度学习 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/HaoBBNuanMM/article/details/118876515
版权

目录

背景

目标

核心方法

前向传播

反向传播

结论

背景

深度学习框架如Tensorflow Pytorch 等最重要的功能之一即自动对网络模型进行了前向传播和反向梯度传播计算，从而对应用开发人员屏蔽了底层算法实现的细节，很容易进行网络模型的training、evalution、testing 最终构建符合AI应用场景需求的网络模型及其参数，本文旨在用通俗易懂的方式解释前向传播（Forward Pass）和反向传播（Backward Pass）的过程

目标

深度学习的目标

如上图所示，所谓深度学习的训练过程，它的目标就是让”损失函数尽快的收敛到阈值“，而在这是一个通过SGD算法持续更新整个网络的参数，让损失函数持续减小的迭代过程

核心方法

自动化网络参数更新

深度学习框架实现了自动化更新网络参数，从而让训练过程对应用开发人员透明，这里核心要解决问题即求出损失函数loss对网络中各个参数w b c 的偏导数，即可以获得网络参数更新的\Delta\Theta增量，而理解该过程需要的数学常识即链式求导规则

前向传播

神经网络示例

如上图构建的神经网络

  • 网络的损失函数是loss
  • 每一层网络的输出是z
  • 激活层输出是a
  • 网络中的参数是w
  • 目标是计算损失函数loss对网络参数w的偏导数 \frac{\partial loss }{\partial w}
求解loss对网络参数w1的偏导

求解\frac{\partial loss}{\partial w1} 的过程可以转换为求解红框的部分

 

 

 

 

 

 

前向传播计算过程

求解loss对w的偏导数在网络的前向过程中可以先计算出其中的一部分 （上图中的蓝框）

反向传播

延迟计算loss对z1的偏导数

· 求解\frac{\partial loss}{\partial z1}的过程可以推迟到计算\frac{\partial loss}{\partial z3} 与 \frac{\partial loss}{\partial z4}

 

同样求解\frac{\partial loss}{\partial z3}和\frac{\partial loss}{\partial z4}的过程可以延迟到下一层网络

依次类推，递归到最后一层，即可以计算出所有的结果

隐含的反向传播网络

如上图所示，一个可见的网络模型，还有一个隐含的反向传播网络在计算loss对z的偏导数

Loss对w偏导数的组成部分

如上图所示， 前向和反向传播各自计算了Loss对w偏导数的一部分 ，当完成一次完整的前向和反向传播计算后，就可以计算出目标\frac{\partial loss}{\partial w}

结论

更新网络参数

迭代更新网络参数实现训练过程

如上图所示，深度学习网络的training过程，就是一个反复执行前向和反向传播过程，更新网络参数，减少loss的过程，整个动态的过程可以用下面的动画表达

正方向传播训练过程动画示意

HaoBBNuanMM
关注
【进阶版】机器学习与深度学习之前向传播与反向传播知识（08）
迷茫与徘徊只会让你陷入绝境，欢迎私信博主，带你开始提升变现价值！
08-22 676
机器学习算法知识、数据预处理、特征工程、模型评估——原理+案例+代码实战机器学习之Python开源教程——专栏介绍及理论知识概述机器学习框架及评估指标详解Python监督学习之分类算法的概述数据预处理之数据清理，数据集成，数据规约，数据变化和离散化特征工程之One-Hot编码、label-encoding、自定义编码卡方分箱、KS分箱、最优IV分箱、树结构分箱、自定义分箱特征选取之单变量统计、基于模型选择、迭代选择机器学习八大经典分类万能算法——代码+案例项目开源、可直接应用于毕设+科研项目。
【深度学习】前向传播和反向传播（四）
florrie
03-05 2796
【深度学习】前向传播和反向传播（四） 写在最前面的话：今天要梳理的知识点是深度学习中的前/反向传播的计算，所需要的知识点涉及高等数学中的导数运算。 在深度学习中，一个神经网络其实就是多个复合函数组成。函数的本质就是将输入x映射到输出y中，即f(x)=yf(x)=yf(x)=y，而函数中的系数就是我们通过训练确定下来的，那么如何训练这些函数从而确定参数呢？这就涉及网络中的两个计算：前向传播和反向...
深度学习-前向传播+反向传播
wowMJX的博客
07-01 1199
一、深度学与传统机器学的区别 1：在数据量较少的情况下，机器学和深度学训练后的数据是差不多的；但是在数据量较多的情况下，使用深度学训练数据较好。 2：机器学选择算法时需要调参，深度学不需要调参，深度学会发生过拟合的情况。 3：传统机器学的计算资源耗费较高。 二、深度学的应用 1：自然语言应用 2：计算机视觉 三、分类任务的步骤 1：收集数据并给定标签（需要收集很多数据，基本以万为单位）。 2：训练一个分类器（选择相应的算法）。 3：测试评估（计算准确率、精确率、召回率、ROC曲线）。 四、传统机器学的计算步
人工智能学习笔记--理解深度学习中的前向传播和反向传播算法
铁匠Smith先生的专栏
12-18 1884
一个典型的神经元模型可以用下图表示： 一个典型的全连接前向神经网络如下图所示： 设激活函数为f，权重矩阵为W，偏置项为b，输入为A，最终输出为Y，则Y = f(WA+b)，计算输出Y这个过程就是前向传播的过程。 对于一个还没有训练好的神经网络而言，各个神经元之间的参数都是随机值，即初始化时赋的值，前向传播过程是神经网络的输入输出过程，即网络是如何根据A的值得到输出的Y值...
深度学习中的前向传播和反向传播
March_A的博客
04-09 3294
具体地说，首先将损失函数对输出结果的梯度计算出来，然后向后逐层计算每个操作和参数的梯度，最终得到每个参数的梯度。通过将输入数据输入网络并计算输出，然后将输出与期望输出进行比较，可以计算出损失函数的值，并使用反向传播算法来更新网络的权重和偏差，以最小化损失函数。在前向计算过程中，每个神经元的权重和偏置都是固定不变的，因此前向计算可以高效地进行。在深度学习中，前向传播（forward propagation）是神经网络中的重要步骤，它用于将输入数据在网络中进行处理和转换，最终得到输出结果。
深度学习中的前向传播与反向传播
最新发布
程序员光剑
01-18 1103
1.背景介绍 深度学习是一种人工智能技术，它通过多层神经网络来学习和处理复杂的数据。在深度学习中，前向传播和反向传播是两个核心的计算过程，它们分别用于计算神经网络的输出和更新网络参数。在这篇文章中，我们将详细介绍深度学习中的前向传播与反向传播的核心概念、算法原理和具体操作步骤，以及通过代码实例来说明其应用。 2.核心概念与联系 2.1 神经网络 神经网络是由多个相互连接的神经元组成的计算模...
TensorFlow 深度学习框架 （2）-- 反向传播优化神经网络
ouprince
03-16 732
训练神经网络的过程就是设置神经网络参数的过程，只有经过有效训练的神经网络模型才可以真正的解决分类问题或回归问题。使用监督学习的方式设置神经网络参数需要有一个标注好的训练数据集。监督学习的最重要的思想是，在已知答案的标注数据集上，模型给出的预测结果要尽可能接近真实的答案。 在神经网络优化算法中，最常用的就是反向传播算法。反向传播算法的具体工作流程如图 如图所示是训练的流程图，那么在训练之前，...
cpp-darknet深度学习框架源码分析详细中文注释涵盖框架原理与实现语法分析
08-16
《cpp-darknet深度学习框架源码分析》 cpp-darknet是一个基于C++的深度学习框架，专注于速度和效率，尤其适合于嵌入式系统和实时应用。本资料将深入探讨cpp-darknet的源码，通过详细中文注释帮助读者理解框架的原理...
Omega-AI：基于java打造的深度学习框架
02-06
Omega-AI是一个专为Java开发者设计的深度学习框架，它为构建神经网络提供了便捷的工具，使得在Java环境中进行机器学习任务变得更为高效。Omega-AI的出现打破了Python在深度学习领域占据主导地位的传统，为Java开发者...
深度学习基础及数学原理.zip_深度_深度学习_深度学习原理_深度学习数学原理_深度学习算法
07-14
5. **泛函分析**：函数空间、Banach空间和Hilbert空间的概念在理解深度学习的理论框架时非常有用。 最后，压缩包中的"深度学习基础及数学原理.pdf"很可能详细阐述了以上内容，并可能包含实际案例和练习，帮助读者...
卷积神经网络前向及反向传播过程数学解析.pdf
04-14
本文为作者本人对卷积神经网络的前向及反向传播过程数学推导的总结笔记，对深度学习初学者来说是个对卷积神经网络深度了解很好的机会，是自己搭建卷积神经网络的理论支持，欢迎下载，共同进步
matlab反向传播算法代码-MachineLearning-DeepLearning-NLP-LeetCode-StatisticalLea
06-20
matlab 反向传播算法代码 MachineLearning-Deep...北京大学曹健老师课程和TensorFlow：实战Google深度学习框架（第二版） Python代码实现， 附带一些个人心得和笔记。GitHub上有很多机器学习课程的代码资源，我也准备
深度学习基础------前向传播与反向传播
你好，明天，，的博客
09-29 9767
当前，深度学习已经应用到很多领域：无人驾驶汽车，黑科技以及图像分类等等，这些前沿的科技也面临许多挑战，如无人驾驶汽车需要进行物体的检测、行人的检测、标志的识别以及速度识别等等；图像分类已经成为一项重要技术，它是计算机视觉的核心任务，其困难之处在于图像中物体形状的改变、部分遮蔽以及背景的混入等等。让机器学习人类模拟人类大脑的思考过程，需要进行大量的实验研究才能正式投入运行，即将大量的数据分为训练集、验证集以及测试集。 深度学习的过程可以分为前向传播和反向传播两个过程，前向传播。 简单来说，前向传播过程就是
动手学深度学习笔记---4.4 前向传播、反向传播与计算图
selectnothing的博客
03-16 681
归根到底，正向传播与反向传播是一个学习参数，计算误差，然后求导对参数更新的过程。可以理解为一次作业的完成过程：写作业（前向传播）-> 老师审阅（计算误差）-> 打回修改（反向传播） -> 完成作业（训练完成）
神经网络前向传播和反向传播——图示理解
YlcMeng的博客
08-03 2276
听了吴恩达老师的课程之后，按照老师的方法画出神经网络中前向传播和反向传播的示意图，如有错误，请交流指正！ 其中，caches部分表示“缓存的信息”，以用于后面计算中的调用。 每一步骤所需的数据已用不同颜色的框和箭头标出。 ...
从零实现深度学习框架——实现Tensor的反向传播
日积月累，天道酬勤
12-22 1864
在常见运算的计算图中，我们了解了加减乘除等运算的计算图。本文通过代码实现加法和乘法的计算图来了解我们的`Tensor`自动反向传播计算梯度的模式。
【深度学习】神经网络前向传播和反向传播例子
CSDN_Black的博客
05-03 670
从零实现深度学习框架——优化反向传播相关代码
日积月累，天道酬勤
12-24 920
在前面的文章中，我们实现了反向传播的模式。并实现了加法和乘法的计算图。但是这种实现方式有一些弊端，本文就来优化实现反向传播模式的代码，同时修复加法和乘法计算图实现的问题。
深度学习基础 - 前向传播和反向传播
flyfish
10-10 2064
前向传播和反向传播 从一个简单的数学表达式开始 1+2=31+2=31+2=3 把常量换成变量，如下 x+y=zx+y=zx+y=z 这是数学表达式的方式 我们再换种计算图的方式，如下 前向传播 反向传播 这是加法，左边是前向传播，右边是反向传播 这是乘法，左边是前向传播，右边是反向传播 代码实现 class multiplication_layer: def __init__(self): self.x = None self.y = None de
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值