pytorch 自动微分

pytorch 自动微分：

import torch

print('创建一个张量，设置 requires_grad=True 来跟踪与它相关的计算')
x = torch.ones(2, 2, requires_grad=True)
print(x)
print('针对张量做一个操作')
y = x + 2
print(y)
#y 作为操作的结果被创建，所以它有 grad_fn
print(y.grad_fn)
print('针对 y 做更多的操作：')
z = y * y * 3
out = z.mean()
print(z, out)
结果：
创建一个张量，设置 requires_grad=True 来跟踪与它相关的计算
tensor([[1., 1.],
        [1., 1.]], requires_grad=True)
针对张量做一个操作
tensor([[3., 3.],
        [3., 3.]], grad_fn=<AddBackward0>)
<AddBackward0 object at 0x00000125F7294788>
针对 y 做更多的操作：
tensor([[27., 27.],
        [27., 27.]], grad_fn=<MulBackward0>) tensor(27., grad_fn=<MeanBackward0>)


#.requires_grad_( ... ) 会改变张量的 requires_grad 标记。输入的标记默认为 False ，如果没有提供相应的参数
a = torch.randn(2, 2)
a = ((a * 3) / (a - 1))
print(a.requires_grad)
a.requires_grad_(True)
print(a.requires_grad)
b = (a * a).sum()
print(b.grad_fn)
结果：
False
True
<SumBackward0 object at 0x00000125F7294788>


print('梯度：')
#我们现在后向传播，因为输出包含了一个标量，out.backward() 等同于out.backward(torch.tensor(1.))
out.backward() 
print(x.grad) #打印梯度 d(out)/dx
结果：
梯度：
tensor([[4.5000, 4.5000],
        [4.5000, 4.5000]])


#看一个雅可比向量积的例子：
x = torch.randn(3, requires_grad=True)
y = x *2
while y.data.norm() < 1000:
    y = y * 2
print(y.data.norm())
print(y)
#现在在这种情况下，y 不再是一个标量。torch.autograd 不能够直接计算整个雅可比，但是如果我们只想要雅可比向量积，只需要简单的传递向量给 backward 作为参数。
v = torch.tensor([0.1, 1.0, 0.0001], dtype=torch.float)
y.backward(v)
print(x.grad)
#你可以通过将代码包裹在 with torch.no_grad()，来停止对从跟踪历史中 的 .requires_grad=True 的张量自动求导
print(x.requires_grad)
print((x**2).requires_grad)
with torch.no_grad():
    print((x**2).requires_grad)
结果：
tensor(1167.3201)
tensor([-1035.1720,  -525.3345,  -122.7947], grad_fn=<MulBackward0>)
tensor([5.1200e+01, 5.1200e+02, 5.1200e-02])
True
True
False