[Pytorch系列-19]:Pytorch基础 - Variable变量的使用方法与 Tensor变量的比较

作者主页(文火冰糖的硅基工坊):文火冰糖(王文兵)的博客_文火冰糖的硅基工坊_CSDN博客

本文网址:https://blog.csdn.net/HiWangWenBing/article/details/120240309


目录

第1章 Variable变量

1.1 为什么需要引入Variable

1.2 什么是Variable

1.3 普通tensor与Variable在深度学习中各种的用途

第2章 Variable的定义

2.1 Variable所在的module

2.2 Variable的定义:Variable就是Tensor

2.3 tensor与variable的进一步比较

2.4 把variable转换以成numpy

待续..........: variable的自动求导



第1章 Variable变量

1.1 为什么需要引入Variable

Tensor是Pytorch的一个完美组件(可以生成高维数组),可以对张量进行各种并行运算。

但是要构建神经网络,进行自动求导和反向传播,光有Tensor还是远远不够的,需要引入一个具备自动求导新特新的数据结构Variable。

1.2 什么是Variable

Variable是对Tensor的一个封装,因此Tensor具备的操作,Variable都具备。

Variable还引入了三个额外的属性:

  • data:Variable变量用于存放变量本身的数值
  • grad:Variable变量用于存放变量针对某一个函数f的偏导数值.
  • grad_fn:计算梯度的函数

Tensor对Variable类型的指示

  • requires_grad=True

1.3 普通tensor与Variable在深度学习中各种的用途

(1)普通tensor:

  • 存放输入的样本数据
  • 存放输出的结果数据
  • 中间边的临时数据

(2)Variable变量

  • 专门存放神经网络模型的参数w,b

1.4 Variable与Tensor的整合

在最新的Pytorch中,Variable整合到了Tensor中。

Variable和Tensor具备了相同的数据结构,普通的tensor也具备如下的三个属性。

  • data:Variable变量对应tensor的数据,必须是一个数值,不能是数值序列
  • grad:Variable变量对应tensor的梯度,多元函数时,不同的变量又不同的偏导函数
  • grad_fn:该变量对应的自动推导的导函数,多元函数时,不同的变量又不同的偏导函数

它们的差别是:

Variable默认设置requires_grad=True.

普通tensor默认设置requires_grad=flase

第2章 Variable的定义

2.1 Variable所在的module

Variable被定义在torch.autograd模块中。

#环境准备
import numpy as np
import torch
from torch.autograd import Variable

print("Hello World")
print(torch.__version__)
print(torch.cuda.is_available())
Hello World
1.8.0
False

2.2 Variable的定义:Variable就是Tensor

Variable可以由已有的tensor生成

(1)张量

# 生成张量
tensor_a = torch.Tensor([[1., 2.0, 3],[3.,4., 5]])
print(tensor_a)
print(tensor_a.shape)
tensor([[1., 2., 3.],
        [3., 4., 5.]])
torch.Size([2, 3])

(2)方法1

print("根据张量,生成variable")
var_a = torch.autograd.Variable(tensor_a, requires_grad=True)
print(var_a)
print(var_a.shape)

print("\n根据张量,生成variable")
var_b = torch.autograd.Variable(tensor_a, requires_grad=False)
print(var_b)
print(var_b.shape)
根据张量,生成variable
tensor([[1., 2., 3.],
        [3., 4., 5.]], requires_grad=True)
torch.Size([2, 3])

根据张量,生成variable
tensor([[1., 2., 3.],
        [3., 4., 5.]])
torch.Size([2, 3])

备注:variable就是张量。

(3)方法2

print("根据张量,生成variable")
var_c = Variable(tensor_a, requires_grad=True)
print(var_c)
print(var_c.shape)

print("\n根据张量,生成variable")
var_d = Variable(tensor_a, requires_grad=False)
print(var_d)
print(var_d.shape)
根据张量,生成variable
tensor([[1., 2., 3.],
        [3., 4., 5.]], requires_grad=True)
torch.Size([2, 3])

根据张量,生成variable
tensor([[1., 2., 3.],
        [3., 4., 5.]])
torch.Size([2, 3])

备注:

  • variable就是张量
  • variable是requires_grad=true的张量

2.3 tensor与variable的进一步比较

print(tensor_a.grad)
print(var_a.grad)
print(var_b.grad)
print(var_c.grad)
print(var_d.grad)
None
None
None
None
None
print(tensor_a.grad_fn)
print(var_a.grad_fn)
print(var_b.grad_fn)
print(var_c.grad_fn)
print(var_d.grad_fn)
None
None
None
None
None
print(tensor_a.data)
print(var_a.data)
print(var_b.data)
print(var_c.data)
print(var_d.data)
tensor([[1., 2., 3.],
        [3., 4., 5.]])
tensor([[1., 2., 3.],
        [3., 4., 5.]])
tensor([[1., 2., 3.],
        [3., 4., 5.]])
tensor([[1., 2., 3.],
        [3., 4., 5.]])
tensor([[1., 2., 3.],
        [3., 4., 5.]])

2.4 把variable转换以成numpy

x_variable = Variable(torch.Tensor([-3, -2,-1,0, 1, 2, 3]), requires_grad = True)
print(x_variable)

x_numpy = x_variable.data.numpy()
print(x_numpy)

tensor([-3., -2., -1.,  0.,  1.,  2.,  3.], requires_grad=True)
[-3. -2. -1.  0.  1.  2.  3.]
 

待续..........: variable的自动求导


作者主页(文火冰糖的硅基工坊):文火冰糖(王文兵)的博客_文火冰糖的硅基工坊_CSDN博客

本文网址:https://blog.csdn.net/HiWangWenBing/article/details/120240309

  • 2
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
### 回答1: 在PyTorch中,可以使用以下方法来释放存储的Tensor变量: 1. 使用del关键字:使用`del`关键字可以直接删除Tensor对象并释放其存储空间。例如:`del tensor_variable` 2. 使用torch.Tensor变量的`detach()`方法:`detach()`方法返回一个与原始Tensor不再共享存储空间的新Tensor,并释放原始Tensor的存储空间。例如:`detached_tensor = tensor_variable.detach()` 3. 使用torch.Tensor变量的`zero_()`方法:`zero_()`方法会将Tensor变量中的元素全部置为0,释放存储空间并重置Tensor的形状和数据类型。例如:`tensor_variable.zero_()` 值得注意的是,通过上述方法释放存储的Tensor变量,仅会释放该Tensor对象的存储空间,而不会修改其他引用该存储的Tensor对象。如果该存储仍被其他Tensor对象引用,则仍然不能从内存中完全释放。 此外,Python的垃圾回收机制会自动处理不再被引用的Tensor对象的释放,即当所有对Tensor对象的引用都消失时,垃圾回收会自动释放该Tensor对象的内存。因此,在不再需要使用Tensor对象时,及时清除对其的引用即可释放内存。 ### 回答2: 使用PyTorch释放存储的Tensor变量非常简单。PyTorch会自动处理内存管理,但我们可以使用torch.Tensor.detach()或torch.Tensor.data属性来释放Tensor变量方法一:使用detach()方法 detach()方法会返回一个新的Tensor对象,但该对象不再与底层的计算图相关联。这样可以避免梯度传播到该Tensor,有效地释放存储。以下是示例代码: ``` import torch x = torch.tensor([1, 2, 3]) y = x.detach() del x # 删除变量x ``` 在上面的例子中,我们使用detach()方法将x的值赋给y,然后删除变量x。这样PyTorch会立即释放变量x的内存。 方法二:使用.data属性 .data属性提供了Tensor的底层数据,你可以将其赋值给其他变量并删除原始变量。以下是示例代码: ``` import torch x = torch.tensor([1, 2, 3]) y = x.data del x # 删除变量x ``` 在上面的例子中,我们将x的数据赋给y,然后删除变量x。这样,存储在Tensor中的数据将被释放。 无论采用哪种方法PyTorch会在不需要时自动释放Tensor的内存。但如果你想显式地释放Tensor变量,可以使用上述方法。 ### 回答3: 在PyTorch中,释放存储的tensor变量可以通过调用`del`关键字或使用`tensor_variable.data`属性实现。 方法一:使用`del`关键字 可以使用`del`关键字来删除存储的tensor变量,并释放它所占用的内存。例如: ``` import torch # 创建一个tensor变量 x = torch.tensor([1, 2, 3]) # 使用del关键字释放存储的tensor变量 del x ``` 在这个例子中,`del x`将删除变量`x`,并释放它所占用的内存。 方法二:使用`.data`属性 PyTorchtensor变量有一个`.data`属性,它可以返回一个共享存储的tensor副本。通过对这个副本进行操作,可以释放原始tensor变量所占用的内存。例如: ``` import torch # 创建一个存储的tensor变量 x = torch.tensor([1, 2, 3], requires_grad=True) # 使用.data属性释放存储的tensor变量 x.data = torch.tensor([0, 0, 0]) # 使用新的tensor值继续操作 y = x + 1 ``` 在上述例子中,将新的tensor值`[0, 0, 0]`赋值给`x.data`,这将释放原始tensor变量`x`所占用的内存。然后,可以通过对新的`x`进行操作,比如加1,得到结果`y`。 建议在使用tensor变量后及时释放它们,以防止不必要的内存占用。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

文火冰糖的硅基工坊

你的鼓励是我前进的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值