pytorch的梯度反向传播 detach backward

最新推荐文章于 2023-12-26 19:35:12 发布
最新推荐文章于 2023-12-26 19:35:12 发布
阅读量670 收藏
点赞数
分类专栏： pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35641067/article/details/106431701
版权

一、梯度的传播反向传播什么时候停止

  • 1.为叶子节点时【反向时前面没有与之相连的节点】

常见的叶子节点【输入】

  • 2.该节点唯一相连的节点的require_grads=False
    在这里插入图片描述
  • 3.该节点唯一相连的节点使用detach函数时

该方法常用于GAN网络生成器的输出使用detach时，pytorch不对生成器进行梯度计算，叶子节点为判别器的首个参数

二、 detach梯度分离的使用

https://www.jb51.net/article/181631.htm

三、 详解backward()

https://www.jb51.net/article/178158.htm

qq_35641067
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
pytorch的梯度计算以及backward方法详解
12-23
基础知识 tensors： tensor在pytorch里面是一个n维数组。我们可以通过指定参数reuqires_grad=True来建立一个反向传播图，从而能够计算梯度。在pytorch中一般叫做dynamic computation graph(DCG)——即动态计算图。 import torch import numpy as np # 方式一 x = torch.randn(2,2, requires_grad=True) # 方式二 x = torch.autograd.Variable(torch.Tensor([2,3]), requires_grad=True) #方式三 x
你真的理解backward方法了么？
zandaoguang的博客
05-03 1839
公众号关注“视学算法”设为“星标”，第一时间知晓最新干货~转自https://blog.csdn.net/douhaoexia/article/details/78821428接触py...
tensor backward_pytorch中inplace以及detach()操作对求梯度过程(backward)的影响
weixin_39530839的博客
11-25 484
写在前面：我认为如果说“两个变量AB共享data”，但是它们地址不同，这样理解比较好：两个变量的id指的是变量名的内存地址，但是两个变量名地址又指向一个同一个data地址。inplace操作（比如pytorch中的最后带下划线的方法，+=，*=等，都是inplace操作，我想是直接改变变量所指向的data内存地址中的data值，指向的还是那个内存地址，只是那个内存地址的值变了。）改变的是他们共同指...
跟着李沐学深度学习-矩阵计算-detach,backward函数
qq_36820823的博客
03-26 1524
向量的导数 如果y是标量x是标量，结果就是标量。如果y是标量x是相邻则求导是x维度相同的向量。如果y是向量x是标量，那么求出来的导数和y维度相同。如果y和x是向量，则求导是一个矩阵 将向量拓展到矩阵 这张图的关系很好的表明了如果x和y做导数，拓展到矩阵求导上是什么形式。如果两个矩阵做梯度，那么梯度就是四维张量。 计算图 ...
深度学习：非标量调用backward()求梯度实现原理、detach()
qq_52209929的博客
03-26 2415
计算图 非标量调用backward()求梯度 x = torch.arange(4.0) x.requires_grad = True y = x * x 方法1：通过y.sum().backward()调用反向传播 y.sum().backward() print(x.grad) sum为y.sum() 把x带入得 x.grad为(0,2,4,8) 方法2：传入shape和x一样的ones参数 y.backward(torch.ones(x.shape)) ...
LLM - Baichuan7B Lora 训练详解
BITDDD小栈
07-12 4225
Baichuan7B lora 微调训练流程详解。
ChatGLM-6B论文代码笔记
weixin_46133588的博客
04-12 3579
chatglm-6b
model.gradient_checkpointing_enable() model.enable_input_require_grads()
最新发布
qq_30438779的博客
12-26 1212
通常，在反向传播期间，模型的中间激活值需要被保留以计算梯度。看起来这两个函数调用分别用于启用模型的梯度检查点（gradient checkpointing）和启用输入的梯度要求（input gradient requirements）。需要注意的是，这两个函数的确切实现和效果可能取决于具体的模型架构和 PyTorch 版本。在 PyTorch 中，默认情况下，输入张量的梯度是不会被计算的。，你告诉 PyTorch 计算输入张量的梯度，这在某些情况下可能是必要的，例如需要对输入进行梯度更新的情况。
pytorch中的自定义反向传播,求导实例
09-18
今天小编就为大家分享一篇pytorch中的自定义反向传播,求导实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
PyTorch: 梯度下降及反向传播的实例详解
09-18
今天小编就为大家分享一篇PyTorch: 梯度下降及反向传播的实例详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
解决ChatGLM-6B的微调算法P-tuning v2运行train.sh出错
fine_Y的博客
07-17 733
原因是transformers包没有更新(需要降级或升级)。
ChatGLM2-6B源码解析./ptuning/main.py （二）
人工智能曾小健
07-09 1064
最后，对目标进行同样的处理，并将处理后的输入和目标加入到模型输入中。它的处理方式与eval的预处理函数类似，但有一些不同之处，例如它还添加了一个eos(end of sentence) token到输入和标签的末尾，并确保输入和标签的长度都符合最大序列长度。: 这是一个条件语句，如果训练参数中的do_train设定为True，那么它会执行训练数据的预处理并打印一个训练数据的示例。: 这也是一个条件语句，如果训练参数中的do_eval设定为True，那么它会执行验证数据的预处理并打印一个验证数据的示例。
带着问题学LLM
zhouzhou0929的博客
06-12 1052
bin文件13.4g模型加载时有load_in_8bit和torch_dtype两个参数原始模型加载，显存占用12.6g， 参数格式fp32与fp16都有（ln层是32，其余16）load_in_8bit=True时，显存占用7.5g，参数格式int8与fp16都有（ln层是16，其余层weight是8，bias是16）torch_dtype=torch.float16，显存占用12.6g，参数格式fp16。
大语言模型-RLHF(二)——LoRA实现&代码逐行讲解
qjzcy的博客
06-14 5395
为方便学习，对ChatGlm的代码做了逐行解读，这里主要是lora方法使用，里面核心的部分如数据的解析，loss的定义，lable制作，lora调用的框架流程等。将输入转化为我们想要的input和lable格式，注意这里输入的特征是已经转化为id的特征，根据我们自己的数据和需要定义，重写 compute_loss 方法，计算模型的损失。（1）将promot和input，target转化为我们想要的input格式。整体代码如下，文件获取可以参考git。1，数据处理，两个功能。3，loss计算定义。
Pytorch：训练中断再恢复时的注意事项
Childhood_Sweetheart的博客
05-10 6214
参考链接：Pytorch：lr_schedule恢复训练的注意事项 import torch import torch.optim as optim from torchvision.models.resnet import resnet50 net = resnet50(num_classes=1000) optimizer = optim.Adam(net.parameters(), lr=1e-3) scheduler = optim.lr_scheduler.MultiStepLR(optimi
从0到1基于ChatGLM-6B使用LoRA进行参数高效微调
吃果冻不吐果冻皮
04-14 4142
本文主要讲述了基于ChatGLM使用LoRA进行参数高效微调以及使用训练好的模型对其进行推理。参考文档。
Pytorch Detach学习笔记
ODIMAYA的博客
11-04 240
detach： 官方文档介绍： 返回一个新的 从当前图中分离的 Variable。 返回的 Variable 永远不会需要梯度 如果 被 detach 的Variable volatile=True， 那么 detach 出来的 volatile 也为 True 还有一个注意事项，即：返回的 Variable 和 被 detach 的Variable 指向同一个 tensor import to...
pytorch .detach() .detach_() 和 .data用于切断反向传播
热门推荐
weixin_33913332的博客
04-09 4万+
参考：https://pytorch-cn.readthedocs.io/zh/latest/package_references/torch-autograd/#detachsource 当我们再训练网络的时候可能希望保持一部分的网络参数不变，只对其中一部分的参数进行调整；或者值训练部分分支网络，并不让其梯度对主网络的梯度造成影响，这时候我们就需要使用detach()函数来切断一些分支的反向传...
pytorch中关于detach clone 梯度等一些理解
一往而深深深深
10-13 3027
pytorch中有时需要复制一下张量（tensor），如果实在迭代过程中就会涉及到梯度的问题。 我了解的常用的tensor复制方式有两种 .detach（）和.clone（） 1、.detach（）方法，比如已有tensor a ，b=a.detach（），则相当于给a起了个别名b，两个在内存中实际是一个东西，但是在计算梯度时，梯度从后面传到b不会再往前传了，到这就截止了。当只需要tensor数值，不需要往前的梯度或者故意将梯度在这儿截断时可以用这个方法。 2、.clone（）方法，与上面正相反，如.
pytorch detach
07-14
`detach` 是 PyTorch 中的一个函数，它用于从计算图中分离出一个张量，返回一个新的张量，该张量与原始张量共享相同的底层数据，但不再与计算图相关联。这意味着对分离后的张量进行操作不会影响计算图的梯度传播。 使用 `detach` 函数可以在需要时从计算图中分离出张量，例如在训练过程中需要使用某个中间结果进行计算，但不希望该计算对模型的梯度产生影响时，可以使用 `detach` 来分离张量。 以下是一个示例： ```python import torch x = torch.tensor([1.0, 2.0, 3.0], requires_grad=True) y = x.pow(2) # 计算平方 z = y.detach() # 分离张量y # 对分离后的张量进行操作 w = z + torch.tensor([1.0, 1.0, 1.0]) print(w) # 对原始张量进行操作 y.sum().backward() # 计算y的梯度 print(x.grad) # 输出梯度 ``` 在上述代码中，我们首先创建了一个需要梯度的张量 `x`，然后计算了 `x` 的平方得到张量 `y`。接着使用 `detach` 函数将 `y` 分离为张量 `z`。我们对分离后的张量 `z` 进行了加法操作，然后打印了结果。最后，我们对原始张量 `y` 进行了求和操作，并通过 `backward` 计算了 `x` 的梯度，并打印了结果。 需要注意的是，分离张量后无法进行反向传播，因此在使用 `detach` 函数时需要注意是否需要梯度信息。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值