【动手学深度学习-Pytorch版】自动微分

import torch

x = torch.arange(4.0)
print(x)
x.requires_grad_(True)  # 等价于x=torch.arange(4.0,requires_grad=True)
print(x.grad)  # 默认值是None
# torch.dot()为点积运算 对应元素先相乘再相加
y = 2 * torch.dot(x,x)
print(y)

#下面，通过调用反向传播函数来自动计算y关于x每个分量的梯度，并打印这些梯度。
y.backward()
print('第一次梯度：',x.grad)

# 在默认情况下，PyTorch会累积梯度，我们需要清除之前的值
x.grad.zero_()
y = x.sum()
print('y:',y)
y.backward()
print('第二次梯度：',x.grad)

"""
非标量变量的反向传播

当y不是标量时，向量y关于向量x的导数的最自然解释是一个矩阵。
对于高阶和高维的y和x，求导的结果可以是一个高阶张量。

然而，虽然这些更奇特的对象确实出现在高级机器学习中（包括深度学习中），
但当调用向量的反向计算时，我们通常会试图计算一批训练样本中每个组成部分
的损失函数的导数。 这里，我们的目的不是计算微分矩阵，而是单独计算批量
中每个样本的偏导数之和。
"""
# 对非标量调用backward需要传入一个gradient参数，该参数指定微分函数关于self的梯度。
# 本例只想求偏导数的和，所以传递一个1的梯度是合适的
x.grad.zero_()
y = x * x
# 等价于y.backward(torch.ones(len(x)))
y.sum().backward()
print('第三次梯度：',x.grad)

"""分离计算
有时，我们希望将某些计算移动到记录的计算图之外。 
例如，假设y是作为x的函数计算的，而z则是作为y和
x的函数计算的。 想象一下，我们想计算z关于x的梯
度，但由于某种原因，希望将y视为一个常数， 并且
只考虑到x在y被计算后发挥的作用。

这里可以分离y来返回一个新变量u，该变量与y具有相
同的值， 但丢弃计算图中如何计算y的任何信息。 换
句话说，梯度不会向后流经u到x。 因此，下面的反向
传播函数计算z=u*x关于x的偏导数，同时将u作为常数
处理， 而不是z=x*x*x关于x的偏导数。
"""
# 求偏导数过程中中间变量当做常数处理
x.grad.zero_()
y = x * x
# detach()是返回一个新的tensor,并且这个tensor是从当前的计算图中分离出来的，但是
# 返回的tensor和原来的tensor是共享内存空间的
u = y.detach()
z = u * x
z.sum().backward()
print(x.grad == u)