PyTorch Variable与动态图

最新推荐文章于 2023-01-13 11:45:00 发布
最新推荐文章于 2023-01-13 11:45:00 发布
阅读量1.2k 收藏
点赞数
分类专栏： Python

https://mp.weixin.qq.com/s/OMjfck4jlMneGZ1NJxbjKQ

for data, label in trainloader:
    ......
    out = model(data)
    loss = criterion(out, label)
    loss_sum += loss     # <--- 这里
    ......
    # 正确的写法：loss_sum += loss.data[0]

这是因为输出的loss的数据类型是Variable。

而PyTorch的动态图机制就是通过Variable来构建图。主要是使用Variable计算的时候，会记录下新产生的Variable的运算符号，在反向传播求导的时候进行使用。

如果这里直接将loss加起来，系统会认为这里也是计算图的一部分，也就是说网络会一直延伸变大~那么消耗的显存也就越来越大~~

qq_34535410
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【20天拿下Pytorch：Day 3】Pytorch的核心概念：动态计算图
惊鸿若梦一书生
05-17 1018
PyTorch中的动态计算图是指在PyTorch框架中，计算图是动态构建的。这意味着在每次前向传播过程中，计算图都会重新构建。与静态计算图不同，动态计算图允许用户在运行时动态地定义、修改和调整计算图，而无需预先定义完整的计算图结构。Pytorch的计算图由节点和边组成，节点表示张量或者Function边表示张量和Function之间的依赖关系。解释：Function实际上就是 Pytorch中各种对张量操作的函数Pytorch中的计算图是动态图。这里的动态主要有两重含义。
【Pytorch学习笔记】1.Python的yield和next是什么？为什么常用来读取数据（DataLoader）？
takedachia的博客
04-03 5078
【Pytorch学习笔记】1.Python的yield和next是什么？为什么常用来读取数据（DataLoader）？
PyTorch|计算图与动态图机制
木千之
01-13 1116
从图上来看，目标函数y针对w的偏导数，恰恰就是图中结点y到结点w的所有路径之和。默认情况下，只有我们创建的结点为叶子结点，其余计算图中的结点均非叶子结点，二者的区别在于，在一次后向传播计算完成后，非叶子结点的梯度值会被释放从而节省内存。按照上述法则计算偏导数，可以得到各个结点上的偏导数表示，并进而通过后向传播算法计算得到目标函数y在自变量x和w处的偏导数。计算图是用来描述运算的有向无环图。然后用计算图中的结点表示数据（结点），用边表示存在运算关系，辅之以运算符号标识，可以得到如下的计算图。
pytorch使用tensorboardX进行网络可视化
weixin_36670529的博客
04-25 1709
我们知道，对于pytorch上的搭建动态图的代码的可读性非常高，实际上对于一些比较简单的网络，比如alexnet，vgg阅读起来就能够脑补它们的网络结构，但是对于比较复杂的网络，如unet，直接从代码脑补网络结构可能就比较吃力 tensorflow上的tensorboard进行计算图的可视化可谓是非常成熟了，那么有没有可以可视化pytorch动态图的工具呢？ 实际上是有的，前两天介绍了tensorboardX，pytorch上的一个功能强大的可视化工具，他可以直接可视化网络结构 关于如何使用tenso
第三讲，pytorch的动态图机制和自动求导系统
宋建国的博客
11-29 405
一，计算图与动态图机制的介绍 1.计算图： 计算图：用于描述运算的有向无环图。 非叶子节点的梯度在计算过后默认丢弃，如需保存使用【tensor.retain_grad()】来对梯度进行保存 2.动态图： 静态图与动态图的区别在于：运算操作与搭建图的操作是否同时进行。 二，pytorch的自动求导机制 1.自动反向求梯度： torcn.autograd.backward() tenso...
PyTorch学习：动态图和静态图
Hobart
11-09 1万+
动态图和静态图 目前神经网络框架分为静态图框架和动态图框架，PyTorch 和 TensorFlow、Caffe 等框架最大的区别就是他们拥有不同的计算图表现形式。 TensorFlow 使用静态图，这意味着我们先定义计算图，然后不断使用它，而在 PyTorch 中，每次都会重新构建一个新的计算图。通过这次课程，我们会了解静态图和动态图之间的优缺点。 对于使用者来说，两种形式的计算图有着非常大...
Pytorch之Variable的用法
09-18
你可以通过`Variable.data`访问它，它的形状和类型与原始`Tensor`相同。 2. **grad**：`grad`属性保存了`Variable`的梯度。如果`Variable`的`requires_grad`属性设置为`True`，那么在执行反向传播时，`grad`会保存...
PyTorch中的Variable变量详解
09-18
通过`Variable`进行计算时，PyTorch会自动构建一个计算图，记录下所有操作，以便在反向传播时计算梯度。 `Variable`的一个重要特性是它可以支持反向传播。当调用`.backward()`方法时，PyTorch会沿着计算图反向传播...
pytorch使用Variable实现线性回归
09-19
在深度学习领域，PyTorch 是一个非常流行的框架，它以其灵活性和强大的动态计算图功能而闻名。线性回归作为机器学习中最基础的算法之一，在PyTorch中的实现能够帮助初学者更好地理解该框架的工作原理。本文将详细...
Pytorch基本变量类型FloatTensor与Variable用法
09-18
今天小编就为大家分享一篇Pytorch基本变量类型FloatTensor与Variable用法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
PyTorch学习:动态图和静态图的例子
09-18
今天小编就为大家分享一篇PyTorch学习:动态图和静态图的例子，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
pytorch入门到放弃2：Variable
xddwz的博客
10-23 175
Variable，就是变量的意思，是神经网络计算图里特有的一个概念（在numpy里没有变量的概念），Variable提供了自动求导的功能。 Variable和Tensor本质上没有区别，不过Variable会被放到一个计算图中，然后进行前向传播、反向传播、自动求导。 Variable是在torch.autograd.Variable中，要将一个tensor 的数据arr转化为Variable很简单，只需要通过Variable(arr)即可。 如图，Variable有三个比较重要的组成属性：dat.
为什么 PyTorch 这么火？一线开发者这样说
有些代码不应该被忘记
06-30 1891
编者按：2017 年初，Facebook 在机器学习和科学计算工具 Torch 的基础上，针对 Python 语言发布了一个全新的机器学习工具包 PyTorch。一经发布，这款开源工具包就受到了业界的广泛关注和讨论，经过几个月的发展，目前 PyTorch已经成为从业者最重要的研发工具之一。PyTorch 为什么如此受欢迎，研究人员是出于怎样的考虑选择了 PyTorch？针对这些问题，我们今天不妨来
Pytorch：计算图与动态图机制
龙雪的博客
07-16 3814
计算图 computational graph 表示方法 计算图是用来描述运算的有向无环图 计算图有两个主要元素：结点（node）和边（edge） 结点表示数据，如向量，矩阵，张量 边表示运算，如加减乘除卷积等 计算图不仅使计算显得简洁，更重要的是其表示梯度求导更为方便 用计算图表示y=(x+w)*(w+1)： 令 a=x+w b=w+1 则y=a*b 梯度求导结合题例的算式和计算图表示 从上述的计算图表示中，可以看到，除...
pytorch特征图可视化
j_starry的博客
10-16 1万+
本文基于https://blog.csdn.net/GrayOnDream/article/details/99090247的博客进行了进一步的修改 因为上述博客的网络层顺序是从network文件顺序读取class的，不适用于我的网络（我的网络是定义了很多基础模块然后拼接起来的）。因为大多数人定义网络的顺序和真实运行的顺序不太一样，所以我在此基础上做了修改 完整代码如下，网络是一个类似u-ne...
Pytorch Note5 动态图和静态图 dynamic-graph
风信子的猫Redamancy的快乐星球
06-11 1万+
Pytorch Note5 动态图和静态图动态图和静态图TensorFlowPyTorch 动态图和静态图 目前神经网络框架分为静态图框架和动态图框架，PyTorch 和 TensorFlow、Caffe 等框架最大的区别就是他们拥有不同的计算图表现形式。 TensorFlow 使用静态图，这意味着我们先定义计算图，然后不断使用它，而在 PyTorch 中，每次都会重新构建一个新的计算图。通过这次课程，我们会了解静态图和动态图之间的优缺点。 对于使用者来说，两种形式的计算图有着非常大的区别，同时静态图和动态
PyTorch(总)——PyTorch遇到令人迷人的BUG与记录
热门推荐
hudongloop的博客
06-28 12万+
这篇博客就用来记录在使用pytorch时遇到的BUG，虽然年纪大了，但是调出BUG还是令人兴奋^_^! BUG1： 在使用NLLLoss()激活函数时，NLLLoss用来做n类分类的，一般最后一层网络为LogSoftmax，如果其他的则需要使用CrossEntropyLoss。其使用格式为：loss(m(input), target)，其中input为2DTensor大小为（minibatch...
深度学习【27】pytorch Variable变量方法的使用
DCD_LIN的博客
03-31 2105
这边记录一些Variable变量相关的一些方法。 将一个numpy的张量转成Variable： Vtensor = torch.autograd.Variable(torch.LongTensor(np.int64(np.asarray(nptensor))))##torch.LongTensor确定变量类型，根据需要更改 类似reshape操作： out = output...
pytorch学习笔记（十四）： DataLoader源码阅读
Keith
11-15 3万+
pytorch 数据加载部分的 接口可以说是现存 深度学习框架中设计的最好的， 给了我们足够的灵活性。本博文就对 pytorch 的多线程加载 模块（DataLoader） 进行源码上的注释。 输入流水线 pytorch 的输入流水线的操作顺序是这样的： 创建一个 Dataset 对象 创建一个 DataLoader 对象 不停的 循环 这个 DataLoader 对象 d...
pytorch variable函数作用
最新发布
07-28
PyTorch 的 Variable 函数的作用是将张量封装为可求导的对象。在 PyTorch 中，Variable 类型已经被废弃，而被 `torch.Tensor` 类型取代。在旧版本的 PyTorch 中，Variable 类型可以跟踪张量上的操作历史，并且可以自动计算梯度。然而，在新版本的 PyTorch 中，`torch.Tensor` 类型已经具备了这些功能，不再需要使用 Variable。 如果你使用的是较新版本的 PyTorch（1.0 及以上版本），你可以直接使用 `torch.Tensor` 类型来进行张量操作，并且可以通过设置 `requires_grad=True` 来追踪操作历史并计算梯度。同时，你可以使用 `torch.autograd.grad()` 函数来计算梯度。 总结起来，Variable 函数的作用是将张量封装为旧版本 PyTorch 中的可求导对象。但在新版本的 PyTorch 中，可以直接使用 `torch.Tensor` 类型来实现相同的功能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值