pytorch学习-自动求梯度

这段时间刚开始学习pytorch，记录下学习的一些基础知识吧。

1. Pytorch中的Tensor的属性.requires_grad如果设置为True,它将开始追踪在其上的所有操作（这样就可以利用链式法则进行梯度传播）。完成计算后，可以调用.backward()来完成所有梯度计算。此Tensor的梯度将累积到.grad属性中。

# 这里需要注意，Only Tensors of floating point and complex dtype can require gradients
x = torch.tensor([1.,2.],requires_grad=True)
print(x)  #tensor([1., 2.], requires_grad=True)
print(x.grad_fn) #None
y = x + 1
print(y)  #tensor([2., 3.], grad_fn=<AddBackward0>)
print(y.grad_fn) #<AddBackward0 object at 0x0000027D57859D48>
z = y ** 2
print(z.grad_fn) #<PowBackward0 object at 0x0000027D57859D48>

这里因为x是直接创建的，所以grad_fn为None, 而y是通过一个加法操作创建的，所以它有一个为的grad_fn，z是通过幂指数操作创建的，所以它有一个的grad_fn。

2. backward()函数

x = torch.tensor([1.0, 2.0, 3.0, 4.0], requires_grad=True)
y = 2 * x
z = y.view(2, 2)
print(z)
#方法一：
# z = z.sum() #这样得到的就是一个标量
# z.backward()
# print(x.grad) #tensor([2.0000, 0.2000, 0.0200, 0.0020])

#方法二：
#现在 z 不是一个标量，所以在调用backward时需要传入一个和z同形的权重向量进行加权求和得到一个标量
v = torch.tensor([[1.0, 0.1], [0.01, 0.001]], dtype=torch.float)
z.backward(v)
print(x.grad) #tensor([2.0000, 0.2000, 0.0200, 0.0020])

#这里参考了书籍
#如果我们想要修改tensor的数值，但是又不希望被autograd记录（即不会影响反向传播），那么我么可以对tensor.data进行操作。
x = torch.ones(1,requires_grad=True)
print(x.data) # 还是一个tensor
print(x.data.requires_grad) # 但是已经是独立于计算图之外
y = 2 * x
x.data *= 100 # 只改变了值，不会记录在计算图，所以不会影响梯度传播
y.backward()
print(x) # 更改data的值也会影响tensor的值
print(x.grad)

# 以下为输出
tensor([1.])
False
tensor([100.], requires_grad=True)
tensor([2.])