李沐 《动手学深度学习》学习笔记 （7）第一章 预备知识 第五节 自动求导

from mxnet import autograd, np, npx

npx.set_np()

x = np.arange(4.0)
x

array([0., 1., 2., 3.])

#attach_grad为一个张量的梯度分配内存
x.attach_grad()
#通过张量的grad属性可以访问梯度，初始化为0
x.grad

array([0., 0., 0., 0.])

# 把代码放到`autograd.record`内，以建⽴计算图
with autograd.record():
    y = 2 * np.dot(x, x)
y

array(28.)

y.backward()
x.grad

array([ 0.,  4.,  8., 12.])

1.5.2 非标量变量的反向传播

# 当我们对向量值变量`y`（关于`x`的函数）调⽤`backward`时，
# 将通过对`y`中的元素求和来创建⼀个新的标量变量。然后计算这个标量变量相对于`x`的梯度
with autograd.record():
    y = x * x
y.backward()
x.grad

array([0., 2., 4., 6.])

1.5.3 分离计算

with autograd.record():
    y = x * x
    u = y.detach()
    z = u * x
z.backward()
x.grad, u

(array([0., 1., 4., 9.]), array([0., 1., 4., 9.]))

with autograd.record():
    y = x * x
    w = y * x
w.backward()
x.grad, y

(array([ 0.,  3., 12., 27.]), array([0., 1., 4., 9.]))

1.5.4 Python控制流的梯度计算

def f(a):
    b = a * 2
    while np.linalg.norm(b) < 1000:
        b = b * 2
    if b.sum() > 0:
        c = b
    else:
        c = 100 * b
    return c
a = np.random.normal()
a.attach_grad()
with autograd.record():
    d = f(a)
d.backward()

1.6 概率

fair_probs = [1.0 / 6] * 6
fair_probs

[0.16666666666666666,
 0.16666666666666666,
 0.16666666666666666,
 0.16666666666666666,
 0.16666666666666666,
 0.16666666666666666]

test = 6 * [1.0]
test, type(test)

([1.0, 1.0, 1.0, 1.0, 1.0, 1.0], list)