动手深度学习-2.5 自动微分

深度学习框架通过自动微分来加快求导，系统会根据模型构建一个计算图，反向传播会跟踪整个计算图，填充关于每个参数的偏导数。

2.5.1 一个简单的例子

• 对函数$y=2{\mathbf{x}}^T\mathbf{x}$关于列向量$x$求导

import torch

x = torch.arange(4.0)
x

• 声明需要一个地方来存储梯度

x.requires_grad_(True)
x.grad

• 正向传播计算y

y = 2 * torch.dot(x, x)
y

• 反向传播计算y关于x每个分量的梯度

y.backward()
x.grad

• 验证函数$y=2{\mathbf{x}}^T\mathbf{x}$关于$x$的梯度是否为4$x$？

x.grad == 4 * x

-梯度清零，计算另一个函数关于x的梯度

x.grad.zero_()
y = x.sum()
y.backward()
x.grad

2.5.2 非标量变量的反向传播

• 对非标量调用backward需要传入一个gradient参数，该参数指定微分函数关于self的梯度。

x.grad.zero_()
y = x * x
y.backward(torch.ones(len(x)))
#等价于y.sum().backward()
x.grad

2.5.3 分离计算

• 使用.detach()函数将某些计算移动到计算图之外

x.grad.zero_()
y = x * x
u = y.detach()
z = u * x

z.sum().backward()
x.grad == u

• 计算y关于x的导数

x.grad.zero_()
y.sum().backward()
x.grad == 2 * x

2.5.4 Python控制流的梯度计算

即使构建函数的计算图需要通过Python控制流，我们仍然可以计算得到变量的梯度。

• 使用while循环语句和if条件语句定义函数f(a)

def f(a):
	b = a * 2
	while b.norm() < 1000:
		b = b * 2
	if b.sum() > 0:
		c = b
	else:
		c = 100 * b
	return c

• 使用反向传播计算梯度

a = torch.randn(size = (), requires_grad = True)
d = f(a)
d.backward()

• 验证梯度是否正确

a.grad == d / a