python中backward是什么意思_pytorch的梯度计算以及backward方法详解

基础知识

tensors：

tensor在pytorch里面是一个n维数组。我们可以通过指定参数reuqires_grad=True来建立一个反向传播图，从而能够计算梯度。在pytorch中一般叫做dynamic computation graph(DCG)——即动态计算图。

import torch

import numpy as np

# 方式一

x = torch.randn(2,2, requires_grad=True)

# 方式二

x = torch.autograd.Variable(torch.Tensor([2,3]), requires_grad=True)

#方式三

x = torch.tensor([2,3], requires_grad=True, dtype=torch.float64)

# 方式四

x = np.array([1,2,3] ,dtype=np.float64)

x = torch.from_numpy(x)

x.requires_grad = True

# 或者 x.requires_grad_(True)

note1:在pytorch中，只有浮点类型的数才有梯度，故在方法四中指定np数组的类型为float类型。为什么torch.Tensor中不需要呢，可以通过以下代码验证

import torch

import numpy as np

a = torch.Tensor([2,3])

print(a.dtype) # torch.floaat32

b = torch.tensor([2,3])