深度学习笔记-2.自动梯度问题

PyTorch提供的autograd包能够根据输入和前向传播过程自动构建计算图，并执行反向传播.

1-requires_grad问题

requires_grad=True
开始追踪(track)在其上的所有操作（这样就可以利用链式法则进行梯度传播了）,完成计算后，可以调用.backward()来完成所有梯度计算。默认 requires_grad = False
完成计算后，可以调用**.backward()来完成所有梯度计算。此Tensor的梯度将累积到.grad**属性中。

#x是直接创建的，所以它没有grad_fn, 而
x = torch.ones(2, 2, requires_grad=True)
print(x)#tensor([[1., 1.],[1., 1.]], requires_grad=True)
print(x.grad_fn)#None

#y是通过一个加法操作创建的，所以它有一个为的grad_fn。
y = x + 2
print(y)#tensor([[3., 3.],[3., 3.]], grad_fn=<AddBackward>)
print(y.grad_fn)#<AddBackward object at 0x1100477b8>

#打印是否有叶子节点
print(x.is_leaf, y.is_leaf) # True False

若开始没有设置requires_grad 属性可通过 .requires_grad_()来用in-place的方式改requires_grad属性

a = torch.randn(2, 2) # 缺失情况下默认 requires_grad = False
a = ((a * 3) / (a - 1))
print(a.requires_grad) # False
a.requires_grad_(True)
print(a.requires_grad) # True
b = (a * a).sum()
print(b.grad_fn)#<SumBackward0 object at 0x118f50cc0>

2-梯度

标量：标量就是一个数字。标量也称为0维数组
向量：向量是一组标量组成的列表。向量也称为1维数组。
矩阵：矩阵是由一组向量组成的集合。矩阵也称为2维数组。
张量：张量是矩阵的推广，可以用来描述N维数据

注意在y.backward()时，如果y是标量，则不需要为backward()传入任何参数；否则，需要传入一个与y同形的Tensor

out.backward() # 等价于 out.backward(torch.tensor(1.)) 反向转播

#求导
x = torch.tensor([1.0, 2.0, 3.0, 4.0], requires_grad=True)
y = 2 * x
z = y.view(2, 2)
print(z)#tensor([[2., 4.],[6., 8.]], grad_fn=<ViewBackward>)

现在 z 不是一个标量，所以在调用backward时需要传入一个和z同形的权重向量进行加权求和得到一个标量。

v = torch.tensor([[1.0, 0.1], [0.01, 0.001]], dtype=torch.float)
z.backward(v)
print(x.grad)#tensor([2.0000, 0.2000, 0.0200, 0.0020]) x.grad是和x同形的张量

3- detach() 和 with torch.no_grad(）

两种方式中断梯度追踪，无法进行梯度链式法则梯度传播
1-detach()
将其从追踪记录中分离出来，这样就可以防止将来的计算被追踪，这样梯度就传不过去了

2-with torch.no_grad()
将不想被追踪的操作代码块包裹起来，这种方法在评估模型的时候很常用，因为在评估模型时，我们并不需要计算可训练参数（requires_grad=True）的梯度。

x = torch.tensor(1.0, requires_grad=True)
y1 = x ** 2 
with torch.no_grad():
    y2 = x ** 3
y3 = y1 + y2

print(x.requires_grad)#true
print(y1, y1.requires_grad) #tensor(1., grad_fn=<PowBackward0>) True
print(y2, y2.requires_grad) # False
print(y3, y3.requires_grad) # tensor(2., grad_fn=<ThAddBackward>)True

y3.backward()#y2被包裹 所以y2有关的梯度是不会回传的 结果只是y1 对x的梯度
print(x.grad)#tensor(2.)

#使用y2的传播会报错
#RuntimeError: element 0 of tensors does not require grad and does not have a grad_fn

4- Tensor.data.requires_grad

当你想要修改tensor的数值，但是又不希望被autograd记录（即不会影响反向传播），那么我么可以对tensor.data进行操作。

x = torch.ones(1,requires_grad=True)

print(x.data) # tensor([1.]) #还是一个tensor
print(x.data.requires_grad) #False #但是已经是独立于计算图之外

y = 2 * x
x.data *= 100 # 只改变了值，不会记录在计算图，所以不会影响梯度传播

y.backward()#tensor([100.], requires_grad=True)
print(x) # 更改data的值也会影响tensor的值
print(x.grad)#tensor([2.])