对attach_grad和backward的理解

最新推荐文章于 2024-08-11 21:30:03 发布
最新推荐文章于 2024-08-11 21:30:03 发布
阅读量5k 收藏 13
点赞数 8
分类专栏： mxnet 文章标签： mxnet
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/iwinsx/article/details/94640697
版权
这篇博客探讨了在MXNet中如何使用attach_grad和backward进行梯度计算。attach_grad()用于标记变量以便记录其梯度，而backward()则根据链式法则计算指定变量的梯度。头梯度（heads）是乘法系数，影响最终梯度值。默认头梯度是单位矩阵，未定义时会使用ones_like()。通过这两个函数，可以有效地进行反向传播以求解神经网络的优化问题。
摘要由CSDN通过智能技术生成 
from mxnet import autograd as ag
from mxnet import ndarray as nd

aa = nd.array([3,4,5,6])

aa.norm()

[9.273619]
<NDArray 1 @cpu(0)>

aa.norm()默认为二范数（平方和开根号）

aa.norm().asscalar()

9.273619

头梯度和链式法则

此时,由链式法则:

x = nd.array([[1,2],
              [3,4]])

x.attach_grad()

with ag.record():
    y = x*2
    z = y*x
head_gradient = nd.array([[10,1.],
                          [.1,.01]])
# 通过z.backword()来进行求导，如果z不是一个标量，z.backward()等价于nd.sum(z).backward().
z.backward(head_gradient)


x

[[1. 2.]
 [3. 4.]]
<NDArray 2x2 @cpu(0)>

y

[[2. 4.]
 [6. 8.]]
<NDArray 2x2 @cpu(0)>

x.grad

[[40.    8.  ]
 [ 1.2   0.16]]
<NDArray 2x2 @cpu(0)>

所谓头梯度，就是一个求导结果前的乘法系数：在本例中：

[ 10

最低0.47元/天 解锁文章
iwinsx
关注
  • 8
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
【Python & mxnet】自动求导 autograd： x.attach_grad() with ag.record(): z.backward() | 对控制流求导：nd.nor 条件随机场
追光者♂：记录、分享、总结、提升，现象级专栏《Python从入门到人工智能》作者，无惧黑暗，坚信曙光
11-10 459
【Python & mxnet】自动求导 autograd： x.attach_grad() with ag.record(): z.backward() || 对控制流求导：nd.nor 人工智能 面试题：什么是条件随机场（CRF）？它在自然语言处理中的作用是什么？
《动手学深度学习》之线性回归的从零实现（含个人理解）
weixin_43259821的博客
02-18 550
线性回归的从零实现 尽管强⼤的深度学习框架可以减少⼤量重复性⼯作，但若过于依赖它提供的便利，会导致我们很难深⼊理解深度学习是如何⼯作的。因此，本节将介绍如何只利⽤NDArray和autograd来实现⼀个线性回归的训练。 ⾸先，导⼊本节中实验所需的包或模块 from IPython import display from mxnet import autograd, nd import rando...
深度学习笔记（零）
m0_37937096的博客
08-19 373
前言 学习书籍选择 《动手学深度学习》 豆瓣链接：https://book.douban.com/subject/33450010/ 在线网站 http://zh.gluon.ai/ 本文包含内容 1.算法内容 2.代码分析 正文 算法及代码分析 线性回归模型 所对应代码： def linreg(x, w, b): return nd.dot(x, w) + b 参数优化 所对应代码： def sgd(params, lr, batch_size.
MXNet快速入门之autograd自动求解梯度(三)
修炼之路
05-04 4654
导读 在训练模型的时候，为了获取一个好的模型，都是通过最小化损失函数，为了使得损失函数在训练集上最小化，需要在训练集上进行迭代，然后计算出损失值的梯度，然后再利用梯度去更新权重参数，当网络的层数比较多时，我们就需要利用链式求导法则来计算梯度更新权重。 如果在使用mxnet定义卷积网络的时候是不需要考虑链式求导以及梯度更新权重等问题的，框架内部都已经实现好了。但是，如果你想修改网络的结构时，就需要自...
自动求梯度
2303_77841383的博客
10-01 141
Pytorch中是根据前向传播生成计算图的，如果最终生成的函数是标量，那么这是一般情况下的backward反向传播。如果y不是一个标量，MXNet将默认先对y中元素求和得到新的变量，再求该变量有关x的梯度。下面定义有关变量x的函数。我们需要调用record函数来要求MXNet记录与求梯度有关的计算。我们经常需要对函数求梯度（gredient），本文将介绍如何使用MXNet提供的autograd模块来对自动求梯度。为了求有关变量x的梯度，我们需要先调用attach_grad函数来申请存储梯度所需要的内存。
【深度学习】1-权重参数全相同值初始化，导致无法训练
成长之路
08-05 1526
主要是遇到了“使用全相同值初始化权值参数会导致模型无法训练“的问题，本文是我对该问题的理解和一些处理过程。
mxnet-Gluon（一）：mxnet-Gluon 入门
Keith
09-21 2万+
mxnet Gluon 无痛入门沐神已经提供了一份官方的文档，为什么要写这么一篇博客： 沐神提供的中文文档质量是非常高的，地址,但是感觉需要看一段时间才能上手 Gluon， 本博客结构模仿 pytorch 的60分钟入门博客编写，旨在用最快的时间可以直接上手Gluon。同时也可以对Gluon的几个重要模块进行一下总结，以后查询方便。 （博主水平有限，如有错误，请不吝指出。）下面进入正题：mxnet
mxnet学习(3):autograd
攻城狮的自我修养
03-18 2565
reference:https://mxnet.incubator.apache.org/api/python/autograd/autograd.html 1.基本操作 使用x.attach_grad()为梯度分配空间，调用with autograd.record()计算梯度，再使用backward()进行反传 2. BN and dropout BN, dropout这些层在训练和测试的时候是...
Jittor框架API
吴建明wujianming_110117
02-11 649
Jittor框架API 这里是Jittor主模块的API文档，可以通过import jittor来获取该模块。 classjittor.ExitHooks exc_handler(exc_type, exc, *args) exit(code=0) hook() classjittor.Function(*args, **kw) Function Module for customized backward operations Example 1 (Function can have multiple i
pytorch 47 模型剪枝实战|基于torch-pruning库代码对yolov10n模型进行剪枝
最新发布
a486259的博客
08-11 132
torch-pruning官方提供了基于yolov8的剪枝代码，基于此代码改进博主实现了对yolov10n模型的剪枝。虽然实现了对yolov10n模型的剪枝，剪枝目标为移除60%的通道，然而实验是失败的，针对coco数据集进行操作，剪枝前的模型map时37，剪枝后只能恢复到22，比预计下降了15个点，剪枝后的模型flop是下降了很多，mac从8.9降低到2.01616 G，但在3060显卡上推理速度并未得到提升。下一期，将会实现模型的稀疏化训练与剪枝。本期实验，主要验证了多次剪枝，不如一次剪枝到位；
动手学深度学习小记
少年程序郎
10-20 696
1.mx.nd.NDArray() 在神经网络中，我们有三种类别的数据： 样本数据（输入 和 label） 网络模型参数 网络中每层的输入 数据 在 mxnet/Gluon 中，这三种类别的数据都是由 mx.nd.NDArray 来存储的。 但是需要注意的是： 模型参数记得 NDArray.attach_grad(), 因为模型参数更新的时候需要用到 梯度，attach_grad() ...
[MXNET]求导方法以及随机梯度下降笔记
u013099449的博客
06-01 1349
MXNET的导数计算 import mxnet.ndarray as nd import mxnet.autograd as ag x = nd.array([[1, 2], [3, 4]]) x.attach_grad() with ag.record(): y = x * 2 z = y * x z.backward() x.grad == 4*x x.attach_grad...
PyTorch中关于backward、grad、autograd的计算原理的深度剖析
Yale-曼陀罗
06-19 1万+
PyTorch中关于backward、grad、autograd的计算原理的深度剖析PyTorch中Tensor的详细说明 PyTorch中Tensor的详细说明 PyTorch中所有的计算其实都可以回归到Tensor上，所以有必要重新认识一下Tensor。如果我们需要计算某个Tensor的导数，那么我们需要设置其.requires_grad属性为True。 在PyTorch我们自己定义的变量，我们称之为叶子节点(leaf nodes)，而基于叶子节点得到的中间或最终变量则可称之为结果节点。例如下面例子中的
【深度学习笔记】2.3自动求梯度
sun_yi_gui的博客
10-29 612
【深度学习笔记】2.3自动求梯度 在深度学习中，我们经常需要对函数求梯度（gradient）。本节将介绍如何使用MXNet提供的autograd模块来自动求梯度。 from mxnet import autograd,nd #导入 2.3.1 简单例子 对函数 y=2xTxy=2 \bold x^T \bold xy=2xTx求关于列向量 x\bold xx 的梯度。我们先创建变量x\bold xx，并赋初值。 为了求有关变量x\bold xx的梯度，我们需要先调用attach_grad函数来申请存
动手学深度学习（MXNet）1：基础知识
Just for fun的专栏
08-27 976
预备知识 安装环境 $ pip install mxnet-cu80 --> cuda8.0 数据操作，在MxNet中用NDArray类，是存储和变换数据的主要工具。NDArray提供GPU计算和自动求梯度等更多功能。 自动求梯度，用autograd模块，from mxnet import autograd, nd x = nd.arange(4).reshape((4,1))...
python自动求梯度
xizhao_tianzhao的博客
11-15 2046
from mxnet import autograd, nd 方法 x = nd.arange(4).reshape((4, 1)) 方法 结果 x.attach_grad() 申请求梯度所需内存 autograd.record() 用于上下文管理器，管理内容是待求梯度 y.backward() 自动求梯度 autograd.is_training() 查看是否处于...
Pytorch中torch.autograd.grad()函数用法示例
热门推荐
黄笳倞的博客
06-14 4万+
目录 一、函数解释 二、代码范例(y=x^2) 一、函数解释 如果输入x，输出是y，则求y关于x的导数（梯度）： def grad(outputs, inputs, grad_outputs=None, retain_graph=None, create_graph=False, only_inputs=True, allow_unused=False): r...
mxnet 基础学习笔记（李沐课）
gaomingda的博客
11-07 2964
mxnet in Python一、ndarrayfrom mxnet import ndarray as nd#服从均值0，方差1的正态分布 1、nd.random_normal(0,1,shape=(3,4)) 2、#乘法 #矩阵乘法**** nd.dot(A,B) 3、指向的object，Python before = id(y) #y所指向的对象 nd.elemwise_add(
AttributeError: 'numpy.ndarray' object has no attribute 'attach_grad'
07-07
`AttributeError: 'numpy.ndarray' object has no attribute 'attach_grad'` 这是一个Python错误，通常发生在尝试对NumPy数组（`numpy.ndarray`对象）执行TensorFlow或PyTorch中特有的`attach_grad`操作时。NumPy是一个用于处理大型数组的库，而`attach_grad`通常是梯度计算功能，用于自动微分框架如TensorFlow或PyTorch。 在这些框架中，像变量（Variable）这样的对象才有`attach_grad`属性，因为它们支持反向传播和求导。当你试图在一个普通的NumPy数组上调用这个方法，就会引发此类错误，因为你不能直接在NumPy数组上做这种高级的梯度计算。 如果你是在进行深度学习相关的编程，你应该确保你是在正确的上下文中（例如TensorFlow的`tf.Variable`或PyTorch的`torch.Tensor`）使用`attach_grad`，而不是在NumPy数组上。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值