MXNet快速入门之autograd自动求解梯度(三)

导读

在训练模型的时候，为了获取一个好的模型，都是通过最小化损失函数，为了使得损失函数在训练集上最小化，需要在训练集上进行迭代，然后计算出损失值的梯度，然后再利用梯度去更新权重参数，当网络的层数比较多时，我们就需要利用链式求导法则来计算梯度更新权重。
如果在使用mxnet定义卷积网络的时候是不需要考虑链式求导以及梯度更新权重等问题的，框架内部都已经实现好了。但是，如果你想修改网络的结构时，就需要自己来实现这个反向传播的权重更新了，对于复杂的网络如果要自己去计算梯度，好像是有点麻烦。不过，mxnet提供了一个autograd模块可以自动求导。接下来就介绍如何使用这个模块来自动求导。

autograd

• 求解函数输入值的梯度

1. 首先需要导入autograd包
2. 创建一个输入函数的NDArray
3. 调用attach_grad函数来保存函数f(x)相对于输入值x的梯度
4. 在autograd.record()作用域中定义函数f(x)，便于存储f(x)，从而计算梯度
5. 调用backward()函数来执行反向传播，从而计算函数0f(x)相对于输入x的导数

#导入autograd包
from mxnet import nd
from mxnet import autograd

#初始化输入函数的值
x = nd.array([1,2,3,4])
#利用attach_grad方法来保存梯度
x.attach_grad()
#定义前向传播的函数,保存函数便于计算梯度
with autograd.record():
    y =  x ** 3
#调用反向传播
y.backward()
#计算输入函数值的梯度
x.grad

[ 3. 12. 27. 48.]
<NDArray 4 @cpu(0)>

• 根据函数的输入值动态求解导数
  通过定义一个传播函数，然后根据函数的输入值调用函数，动态求解函数输入值的梯度

#定义传播函数
def f(a):
    b = a * 2
    while b.norm().asscalar() < 1000:
        b = b * 2
    if b.sum().asscalar() >= 0:
        c = b[0]
    else:
        c = b[1]
    return c

#函数输入值
a = nd.random.uniform(shape=2)
#保存函数梯度
a.attach_grad()
#求解导数
with autograd.record():
    c = f(a)
c.backward()
[a.grad, c/a]

[
 [2048.    0.]
<NDArray 2 @cpu(0)>, 
 [2048.     1895.8933]
<NDArray 2 @cpu(0)>]