一步一步教你反向传播，求梯度(A Step by Step Backpropagation Example)

最新推荐文章于 2024-06-13 11:44:59 发布
最新推荐文章于 2024-06-13 11:44:59 发布
阅读量3.6k 收藏 45
点赞数 21
分类专栏： 人工智能 文章标签： 梯度 偏导数 梯度下降 深度学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wawaku/article/details/87789513
版权
本文通过一个小型神经网络的实例详细解释了反向传播的过程，旨在帮助读者理解如何通过梯度下降法优化权重，以使神经网络从特定输入得到期望的输出。在正向计算中，应用了logistic激活函数，并计算了每个神经元的输出。接着，通过计算损失函数和梯度，使用链式法则进行反向传播，更新权重，逐步减少误差。经过权重调整，网络的误差有所减小，展示了反向传播的工作原理。
摘要由CSDN通过智能技术生成

本文是我在学习反向传播时翻译的一篇文章。原文链接如下。
A Step by Step Backpropagation Example

实例学习
在这个例子里，我们将制作一个小型神经网络。它有两个输入，两个隐藏的神经元，两个输出神经元。
此外，隐藏和输出的神经元都包含了一个偏差（bias）。下图是这个神经网络的结构。
神经网络结构
下面我们给各个参数设定一些值。权重(w) , 偏差(b) 和用来训练的输入输出
神经网络结构
反向传播的目标是优化权重，以便神经网络能够学习如何正确地将任意输入映射到输出。
在这个例子里：给定输入0.05和0.10，我们希望神经网络输出0.01和0.99。

  • 正向计算
    我们假设这个神经网络的激活函数是 logistic 回归函数。
    我们来计算一下隐藏层神经元h1
最低0.47元/天 解锁文章
wawaku
关注
  • 21
    点赞
  • 踩
  • 45
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
【ChatGPT核心原理实战】手动求解 Transformer：分步数学示例 | Solving Transformer by Hand: A Step-by-Step Math Example
程序员光剑
12-22 2970
手动求解 Transformer：分步数学示例Understanding Transformers: A Step-by-Step Math Example — Part 1了解 Transformer：分步数学示例 — 第 1 部分I understand that the transformer architecture may seem scary, and you might have encountered various explanations on…我知道变压器架构可能看起来很可怕，并且
反向传播理论更新梯度分析（超级详细附图）
weixin_55189321的博客
06-26 5349
这就是对一个前向传播中的某个参数进行梯度更新的过程，当然这个更新过程不可能是一次完成的，在进行完一次反向传播更新梯度后紧接着会进行下一个前向传播，然后重新计算误差，这样多次循环之后会使得损失值逐渐降低，当达到某个设定值时这个循环更新梯度的过程就会停止，从而完成一整个训练流程。这是一个简单的三层神经网络X1和X2都是输入的数据，每个蓝色球就代表一个神经元，而每个神经元是由两个部分组成，一个是输入值X和权重系数W的线性方程，即表示为e=WX+b,b是偏置，上面这一行的e就是指的神经元的e。
反向传播算法（过程及公式推导）
热门推荐
Arthur-Chen的专栏
04-01 20万+
反向传播算法（Backpropagation）是目前用来训练人工神经网络（Artificial Neural Network，ANN）的最常用且最有效的算法。
深度学习梯度与反向传播
最新发布
weixin_53880910的博客
06-13 593
在深度学习中，多元函数通常是 复合（composite）的，所以我们可能没法应⽤上述任何规则来微分这些函数。幸运的是，链式法则使我们能够微分复合函数。
13-反向传播法求梯度
ajream的博客
08-02 2835
文章目录反向传播法求梯度梯度下降求最小值 反向传播法求梯度 利用计算图求梯度是一种比较方便又快速的方法，如何利用计算图求梯度？先回忆一下计算图： 以 z=x2+y2z=x^2+y^2z=x2+y2 为例： 计算图以箭头和节点构成，正向传播时，得到的结果是 z=x2+y2z=x^2+y^2z=x2+y2 反向传播时，得到的结果是：∂L∂z×2x\frac{\partial L}{\partial z}\times 2x∂z∂L​×2x 和 ∂L∂z×2y\frac{\partial L}{\part
反向传播梯度推导
scarlet witcher的博客
08-06 2493
1.前向传播 前向传播算法：将上一层的输出作为下一层的输入，并计算下一层的输出，一直到运算到输出层为止。 对于Layer 2的输出 对于Layer 3的输出[公式]， [公式] [公式] 从上面可以看出，使用代数法一个个的表示输出比较复杂，而如果使用矩阵法则比较的简洁。将上面的例子一般化，并写成矩阵乘法的形式， [公式] [公式] 其中 [公式] 为 sigmoid 函数。 这个表示方法就很简洁、很漂亮，后面我们的讨论都会基于上面的这个矩阵法表示来。所以，应该牢牢记住我们符号的含义，否则在后面推导反
十三、机器学习进阶知识：神经网络之反向传播算法（梯度、误差反向传播算法BP）
weixin_42051846的博客
02-06 6354
本文主要介绍了神经网络的反向传播过程原理，同时对最常见的误差反向传播算法的原理及实现过程进行说明，通俗易懂，适合新手学习，附源码及实验数据集。
知识卡片 反向传播中的梯度
MineData
08-12 1082
前言：本文介绍神经网络中通过反向传播计算梯度的原理，并通过代码演示计算正向和反向传播中的矩阵相乘得出梯度。反向传播中的梯度反向传播(backpropagation)中的梯度神经网络的基本...
【AI大模型应用开发实战】逐步推导反向传播计算原理 Backpropagation step by step
程序员光剑
03-21 1275
不过，输出层的大小将为 10，因为我们有从 0 到 9 的 10 个可能的标签。当训练网络时，我们输入一个数字为零的图像，我们希望第一个神经元值接近于尽可能接近 1，其余尽可能接近 0。在我们的玩具网络中，我们只有一组权重。由于权重均为正，并且输入本身为正，因此神经元的结果也为正，在这种情况下，RELU 是恒等函数。简而言之，反向传播计算梯度下降以最小化成本函数，但由于神经网络中层的排列方式使它们成为复合函数，反向传播只不过是计算链式法则后的链式法则以获得导数的值成本函数相对于网络各层深处的权重。
Coursera深度学习课程 DeepLearning.ai 编程作业——Building your Recurrent Neural Network - Step by Step
Hansry的博客
04-13 882
Building your Recurrent Neural Network - Step by Step Welcome to Course 5’s first assignment! In this assignment, you will implement your first Recurrent Neural Network in numpy. Recurrent Neural Ne...
轻松学习神经网络3：构建前向传播和反向传播预测结果
junchengberry的博客
07-01 348
coding: utf-8 正向传播和反向传播的测试 import numpy as np trace = False trace_forward = False 1、构建正向传播和方向传播的类 class FC: ”’ This class is not thread safe. ”’ #初始化输入和输出的维度，初始化w、b和lr值 ...
梯度反向传播算法推导
godblesstao的博客
01-17 1183
梯度反向传播算法推导前言一、单个神经元的计算过程二、每层由单个神经元构成的神经网络三、每层由多个神经元构成的神经网络 前言 Backpropagation 反向传播算法推导过程 一、单个神经元的计算过程 output=σ(weight∗input+bias) output=\sigma(weight*input+bias) output=σ(weight∗input+bias) 二、每层由单个神经元构成的神经网络 图片来自：https://www.youtube.com/watch?v=tIeHLn.
一个神经网络的梯度反向传播的计算过程
tugouxp的专栏
09-27 1323
当代领域内专家普遍认为，如果神经网络脉络可以做到模拟人脑的全部结构，轴突，树突，皮层结构等等，建立在数学上的强人工智能就会自动出现，可是真的是这样么？把DNA 拆到元素，拆到分子层面上，科学家看的头头是道，我们的基因组分析甚至都可以做到复制生命，乃至白垩纪时期的恐龙都可以在这个技术层面下复活。
反向传播梯度的计算
持之以恒
04-14 722
import torch as t from torch.autograd import Variable as V def f(x): # 计算输出值 y = x ** 2 * t.exp(x) return y def gradf(x): # 手动计算梯度 dx = 2 * x * t.exp(x) + x ** 2 * t.exp(x) return dx x = V(t.randn(3, 4), requires_grad=True) y = f(x
深度学习网络反向传播时梯度计算图（Computational Graph）详解
zeeq的博客
03-17 1379
  首先，引出一个术语：gate。它指一个函数，也可以理解为上一个例子中的circuit diagram的每个节点。比如q=x+y是一个gate，f=qz也是一个gate。任何一类可微函数都可以作为一个gate，我们可以把多个gate组合成一个gate，或者在方便的时候把一个gate分解成多个gate。下面看例子：   这个表达式描述了一个使用sigmoid激活函数的二维神经元（输入x和权重w）。但现在让我们简单地把它看作是从输入w，x到一个数的函数。该函数由多个gate组成，可以拆解为更简单的函数：
分段式反向传播求梯度（转）
xymyeah
02-15 2305
来源：https://sophia0130.github.io/2018/07/16/cs231n%E7%AC%94%E8%AE%B0%EF%BC%88%E4%B8%89%EF%BC%89%E2%80%94%E2%80%94%E5%88%86%E6%AE%B5%E5%BC%8F%E5%8F%8D%E5%90%91%E4%BC%A0%E6%92%AD%E6%B1%82%E6%A2%AF%E5%BA%...
反向传播算法：计算梯度的利器
程序员光剑
04-28 422
1. 背景介绍 1.1 人工智能与机器学习 人工智能（Artificial Intelligence，AI）旨在使机器能够像人类一样思考和行动。机器学习（Machine Learning，ML）作为人工智能的一个重要分支，致力于研究如何让计算机系统从数据中学习并改进其性能，而无需进行显式的编程。近
梯度反传
keyanxiaocaicai的专栏
11-15 241
pytorch 梯度反传详细说明： import torch w = torch.tensor([1.], requires_grad=True) x = torch.tensor([2.], requires_grad=True) a = torch.add(w, x) b = torch.add(w, 1) y = torch.mul(a, b) print(w) print(x) print(a) print(b) print(y) y.backward(retain_graph=True
反向传播和随机梯度的关系是什么
05-15
反向传播和随机梯度下降是神经网络中常用的两个优化算法，它们之间有一定的关系。 反向传播是一种用于计算神经网络中参数梯度的方法，它通过链式法则将误差从输出层反向传递到输入层，最终得到每个参数的梯度。在训练神经网络时，我们需要不断地更新参数，使得损失函数最小化。而梯度下降是一种优化算法，用于更新参数，使得损失函数不断减小。具体来说，梯度下降算法通过不断地沿着负梯度方向更新参数值，直到达到损失函数的最小值。 而随机梯度下降是梯度下降的一种变体，它在每次迭代中只使用部分数据来计算梯度，从而加快了训练速度。具体来说，每次迭代时，随机梯度下降从训练集中随机选择一部分样本，计算这些样本的梯度，然后更新参数。由于每次迭代只使用了一部分数据，因此随机梯度下降具有较快的训练速度和较低的内存消耗。 因此，反向传播和随机梯度下降是神经网络中优化算法的两个重要组成部分，它们通常一起使用，通过计算梯度和更新参数来训练神经网络。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值