PyTorch深度学习实战（8）—— 自动求导autograd和计算图基础

已于 2024-08-19 09:27:18 修改
阅读量619 收藏 5
点赞数 5
分类专栏： PyTorch深度学习实战 文章标签： 深度学习 pytorch 人工智能 机器学习 python
于 2024-08-11 04:15:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shangjg03/article/details/141068099
版权

在训练网络时使用Tensor非常方便，从上一节线性回归的例子来看，反向传播过程需要手动实现，这对于像线性回归这样较为简单的模型还比较容易。在实际使用中经常出现非常复杂的网络结构，此时手动实现反向传播，不仅费时费力，而且容易出错，难以检查。torch.autograd就是为了方便用户使用而专门开发的一套自动求导引擎，它能够根据输入和前向传播过程自动构建计算图，执行反向传播。

计算图（Computation Graph）是包括PyTorch和TensorFlow在内的许多现代深度学习框架的核心，它为反向传播（Back Propogation）算法提供了计算基础，了解计算图在实际写程序的过程中会有极大的帮助。

1. autograd的用法：requires_grad与backward

了解本专栏 订阅专栏 解锁全文
shangjg3
关注
专栏目录
订阅专栏
PyTorch深度学习实战（2）——PyTorch快速入门
shangjg3的博客
08-05 1130
在forward函数中不仅可以使用Tensor支持的任何函数，还可以使用if、for、print、log等Python语法，写法和标准的Python写法一致。PyTorch的简洁设计使得它易于入门，在深入介绍PyTorch之前，本文先介绍一些PyTorch的基础知识，以便读者能够对PyTorch有一个大致的了解，并能够用PyTorch搭建一个简单的神经网络。中最重要的类，它可以看作是一个神经网络的封装，包含神经网络各层的定义以及前向传播（forward）方法，通过。如果需要共享内存，那么可以使用。
《动手学深度学习》autograd 自动求导
weixin_38899721的博客
11-18 117
import random from mxnet import autograd lr=0.01 input_dim=2 input_len=100 output_dim=1 input_signal=nd.random.normal(scale=1,shape=(input_len,input_dim)) output_ideal=nd.random.normal(scale=1,shape=(input_len, output_dim)) # print(input_signal) w=nd.ran
《动手学习深度学习》预备知识——自动求导
By_Liu的博客
07-11 447
自动求导
深度学习-自动求导
Einstein·Jun
04-26 940
构造计算图前向：执行图，存储中间结果反向：从相反方向执行图去除不需要的枝计算复杂度：O(n),n是操作子个数通常正向和方向的代价类似内存复杂度：O(n),因为需要存储正向的所有中间结果正向累积：它的内存复杂度是O(1),即不管多深我不需要存储它的结果，而反向累积则需要存储。反向从根节点向下扫，可以保证每个节点只扫一次；正向从叶节点向上扫，会导致上层节点可能需要被重复扫多次。（正向中 子节点比父节点先计算，因此也无法像反向那样把本节点的计算结果传给每个子节点。
深度学习-4自动求导
weixin_68479946的博客
02-10 154
自动求导是计算一个函数在指定值上的导数。detach()解放y关于x的关系。它不同于符号求导和数值求导。三、自动求导的代码实现。
动手学深度学习：自动求导
GeniusAng的博客
07-15 372
向量链式法则 标量链式法则 扩展到向量 例子1 例子2 自动求导 计算图 计算图的过程其实本质上等于刚刚链式求导法则的过程 自动求导的两种模式 这里求的是 ∂z∂w\frac{\partial z}{\partial \bm w}∂w∂z​ 右下角公式的 ∂x\partial \bm x∂x 应改为 ∂w{\partial \bm w}∂w，wT\bm w^TwT 应改为 xT\bm x^TxT ...
深度学习——基础知识：自动求导
平什么阿的博客
09-01 860
文章目录一. 简单例子 一. 简单例子 假设我们想对函数 y=2x⊤x 关于列向量 x 求导。首先，我们创建变量x并为其分配一个初始值。 import torch x = torch.arange(4.0) x ###输出 tensor([0., 1., 2., 3.])
PyTorch深度学习实战（3）—— 小试牛刀：CIFAR-10分类
最新发布
shangjg3的博客
08-06 622
CIFAR-10是一个常用的彩色图片数据集，它有10个类别：airplane、automobile、bird、cat、deer、dog、frog、horse、ship和truck。神经网络训练：以CIFAR-10分类为例，演示了神经网络的训练流程，包括数据加载、网络搭建、模型训练及模型测试。Tensor：类似NumPy数组的数据结构，它的接口与NumPy的接口类似，可以方便地互相转换。拷贝上面的LeNet网络，因为CIFAR-10数据集中的数据是3通道的彩色图像，所以将。
日月光华-PyTorch深度学习教程课件
04-04
《日月光华-PyTorch深度学习教程课件》是一份由知名讲师日月光华编撰的PyTorch深度学习教学资料，旨在帮助学习者掌握这一强大的深度学习框架。PyTorch是由Facebook开发的开源库，它以其灵活性、易用性和强大的计算...
深度学习修炼（三）——自动求导机制
弄鹊
03-23 4129
自动求导机制以及线性回归的初体验
动手学深度学习6 自动求导
weixin_42831564的博客
01-18 1149
y2XTX从入门到放弃说的就是这两节课~~~
深度学习入门之自动求导（Pytorch）
不想随波逐流的大学生一枚，我们每个人都在努力奔跑
06-27 3683
链式法则，自动求导的前向和反向传播，以及自动求导的实现
【深度学习】深入浅出详解张量自动求导机制
fengdu78的博客
01-11 575
转载自 | PaperWeekly作者 | 清川单位 | 上海交通大学博士生研究方向 | 联邦学习、端云协同推断1『写在前面』深入浅出，在计算机教材界被用滥的词，总是继承着领域小白的初心和梦想。顾名思义，它既意味着理解得透彻，又要求复述得通俗。如果说复述是大名鼎鼎的费曼学习法的精髓，那么复刻便是其在程序世界最恰当的对应概念。君不见深度学习水涨船高，计算框架层出不穷。想要深入浅出这些框架，何不亲自动...
动手学深度学习笔记--autograd
weixin_42273201的博客
01-18 490
MXNet提供自动求梯度，from mxnet import autograd as ag,nd 这有个很大的好处在于，不需要去写求导的式子，只需要知道原函数是什么样，然后需要给哪个求导就给谁开一个求导内存就行。 基本步骤： 创建初始变量x 求关于x的梯度，所以为x申请一个储存梯度的内存x.attach_grad() 定义关于x的函数（被求导的函数）。减少计算和内存开销，MXNET默认不...
Pytorch教程：Autograd基础
...
06-13 1921
PyTorch的Autograd特征可以让PyTorch灵活快速的构建机器学习项目。autograd可以实现快速和容易的多重偏微分（梯度）计算。偏微分计算时反向传播神经网络学习的核心。autograd的可以在运行时动态追踪计算，这意味着如果模型有决策分支、或者有在运行时之前长度未知的循环，仍然可以正确的追踪计算，得到正确的梯度进而驱动学习。并且，当模型是通过python构建的，在计算梯度时，PyTorch的autograd比那些依赖于对更加严格结构的模型进行静态分析的框架提供了更多的灵活性。
PyTorch的 autograd
万物琴弦存于你的泡沫之中，光锥之外
03-18 6319
AutoGrad简介 从概念上讲，autograd记录一个图，记录在您执行操作时创建数据的所有操作，从而为您提供一个有向无环图，其叶是输入张量，根是输出张量。通过从根到叶跟踪这个图，您可以使用链式法则自动计算梯度。 AutoGrad机制 有助于自动求梯度 每个张量都有一个flag:requires_grad，允许从梯度计算中具体的排除某些子图，并可以提高效率。 输入变量中，只要有存在requires_grad = True的情况，那么输出变量的requires_grad 标志就为 True >>
【Pytorch】AutoGrad个人理解
是云就要飞的博客
03-06 770
学习总结autograd，有错误的地方欢迎大家指出。
Anaconda在哪下载？Anaconda保姆级安装下载教程
gu1857035894的博客
09-13 2179
许多人不知道Anaconda怎么下载。这里统一解答一下~!可以直接从 Anaconda官网下载，但因为Anaconda的服务器在国外，所以下载速度会很慢，这里推荐使用清华的镜像来下载。选择合适你的版本下载，我这里选择Anaconda3-5.1.0-
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

shangjg3

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值