Pytorch 学习（二）：Pytorch 梯度简单操作

Pytorch 中梯度简单理解

Pytorch 的 tensor 带有梯度属性，tensor.grad_fn 存储梯度信息，利用 backward 函数可进行梯度回传

import torch
x = torch.randn(2, 2, requires_grad=True)  # requires_gard 打开梯度

同样可以这样打开梯度

x = torch.randn(2, 2)
x.requires_gard_(True)

继续构建计算图

print(x, x.grad_fn)
y = x * x
z = y + 1
out = z.mean()
out.backward()  # 梯度回传

backward 函数可以附带参数 w，默认是一个值为 1 的标量，由于 out 本身为标量，因此不影响。

out.backward(torch.tensor(1.0))  # 等价于 out.backward()
out.backward(torch.tensor([1.0]))  # 等价于 out.backward()

当 w 不为 1 时，backward 的计算带有了权值，一般 w 具有值用于中间梯度的直接回传，不经过后续的梯度计算

out2 = out * 2
out2.backward()

等价于

out.backward(torch.tensor(2.0)) # 梯度带有了额外的权值

此时的回传不需要通过 out2 计算
当需要回传的 tensor 不是一个标量时，w 的 size 应与当前 tensor 一致

# z.size() = 2 x 2
w = torch.tensor([10, 1, 0.1, 0.01], dtype=torch.float32) # w.size() = 1 x 4
z.backward(w.view(2, 2)) # 等价于 (z * w.view(2, 2)).backward()

在实际中，有时候还需要冻结部分梯度

x = torch.ones(2, 2, requires_gard=True)
y1 = x ** 2
with torch.no_grad():  # 冻结梯度
  y2 = x ** 3
y3 = y1 + y2

正常情况下，dy3/dx = dy3/dy1 + dy3/dy2 = 2x + 3x^2
此时 dy3/dx = dy3/dy1 = 2x，梯度被冻结