mxnet-Gluon（一）：mxnet-Gluon 入门

沐神已经提供了一份官方的文档，为什么要写这么一篇博客： 沐神提供的中文文档质量是非常高的，地址,但是感觉需要看一段时间才能上手 Gluon， 本博客结构模仿 pytorch 的60分钟入门博客编写，旨在用最快的时间可以直接上手Gluon。同时也可以对Gluon的几个重要模块进行一下总结，以后查询方便。 （博主水平有限，如有错误，请不吝指出。）

下面进入正题：

mxnet 新提出的 Gluon 框架是一个 动态图框架， 如果之前有接触过 pytorch 的话，那么应该对动态图框架应该非常熟悉：

• 动态图： define by run
• 静态图： define and run

静态图的代表就是 Tensorflow，我们首先定义好计算图，然后 feed 数据进行训练网络参数。
动态图的代表就是 chainer， pytorch 和 Gluon 了，在运行的时候定义图。在每个 mini-batch 进行训练的时候都会重新定义一次计算图。

安装

pip uninstall mxnet
pip install --pre mxnet-cu75 # CUDA 7.5
pip install --pre mxnet-cu80 # CUDA 8.0

数据放在哪

在神经网络中，我们有三种类别的数据：

• 样本数据（输入 和 label）
• 网络模型参数
• 网络中每层的输入 数据

在 mxnet/Gluon 中，这三种类别的数据都是由 mx.nd.NDArray 来存储的。

但是需要注意的是：

• 模型参数记得 NDArray.attach_grad(), 因为模型参数更新的时候需要用到 梯度，attach_grad() 就是为参数梯度的存放开辟了空间，以助于参数更新的时候进行访问
• 不需要显式访问梯度的 NDArray 是不需要 attach_grad() 的

from mxnet import nd
val = nd.normal(shape=(2,3)) # 在使用 ide 时，没有代码提示不代表没有，常去官网查查 API
val

[[ 1.18392551  0.15302546  1.89171135]
 [-1.16881478 -1.23474145  1.55807114]]
<NDArray 2x3 @cpu(0)>

val_shape = val.shape # 获取 NDArray 的shape， 这操作 很 numpy
val_shape

(2, 3)

mxnet.nd 中也提供了很多对 NDArray 的操作 https://mxnet.incubator.apache.org/api/python/ndarray.html#array-creation-routines

自动求导

在 0.11 之前的版本中， mxnet 的 NDArray 是不支持自动求导，自动求导的支持仅存在与 mxnet 的符号编程中，但是为 Gluon（基于mxnet 的动态图框架）， mxnet 对于 NDArray 也提供了自动求导机制， 通过 mxnet.autograd 来支持

from mxnet import nd
from mxnet import autograd

# nd.NDArray
val = nd.ones(shape=(3, 5))

w1 = nd.ones(shape=(5, 1))
b1 = nd.ones(shape=(1,))

w1.attach_grad() # 对模型参数进行 attach_grad()
b1.attach_grad() # 同上

with autograd.record(): # 使用 autograd 来记录计算图
    res = nd.dot(val, w1)
    res2 = res + b1
res2.backward() # 这里需要注意的是，如果 res2 不是标量的话，默认的操作是会对 res2 做一个 sum，然后在 backward

print(w1.grad)
print(b1.grad)

[[ 3.]
 [ 3.]
 [ 3.]
 [ 3.]
 [ 3.]]
<NDArray 5x1 @cpu(0)>

[ 3.]
<NDArray 1 @cpu(0)>

神经网络

到这里，终于可以看到 Gluon 的身影了，Gluon给我们提供了一些简洁的 高级 API，我们可以使用这个 API 快速的搭建想要的神经网络结构。

祭出神器 mxnet.gluon（版本 0.11 及以上 才有这个工具包）

深度学习的流水线大概有以下几个步骤：

• 搭建网络结构
• 初始化模型参数
• 训练模型参数
  
  • mini-batch 数据输入到网络中
  • 计算 loss
  • 反向传导得到 模型参数的梯度信息
  • 更新参数

from mxnet import nd
from mxnet.gluon import nn
from mxnet.gluon import loss
from mxnet import gluon

class Net(nn.Block):
    def __init__(self, **kwargs):
        super(Net, self).__init__(**kwargs)

        self.dense0 = nn.Dense(256) # 我们只需要对 层的输出维度 作说明，不需要考虑输入的维度
        self.dense1 = nn.Dense(1)   # Gluon 会帮助我们 推断出 输入的 维度

    def forward(self, x):
        return self.dense1(nd.relu(self.dense0(x)))

net = Net()

net.initialize() # 要先 initialize， 再创建 trainer
trainer = gluon.Trainer(net.collect_params(), 'sgd',
                        {'learning_rate': 0.001}) # 优化方法
val = nd.ones(shape=(10, 100))
label = nd.ones(shape=(10,))

criterion = loss.L2Loss() # 创建一个 loss 标准

with autograd.record(): # 需要反向传导的地方记得 record 一下
    res = net(val)
    print(res)
    loss = criterion(res, label)

loss.backward() # 计算梯度

trainer.step(batch_size=10)  # 更新模型参数

print(net(val))
print(loss)

[[-0.18936485]
 [-0.18936485]
 [-0.18936485]
 [-0.18936485]
 [-0.18936485]
 [-0.18936485]
 [-0.18936485]
 [-0.18936485]
 [-0.18936485]
 [-0.18936485]]
<NDArray 10x1 @cpu(0)>

[[-0.14251584]
 [-0.14251584]
 [-0.14251584]
 [-0.14251584]
 [-0.14251584]
 [-0.14251584]
 [-0.14251584]
 [-0.14251584]
 [-0.14251584]
 [-0.14251584]]
<NDArray 10x1 @cpu(0)>

[ 0.70729446  0.70729446  0.70729446  0.70729446  0.70729446  0.70729446
  0.70729446  0.70729446  0.70729446  0.70729446]
<NDArray 10 @cpu(0)>

上面的事例已经将关键的 Gluon 组件一一展现了出来，包括：

• gluon.nn.Block 容器一样的概念，用来构建神经网络
• gluon.loss 各种 loss 的聚集地
• gluon.nn 有很多 层的 实现
• gluon.rnn 里面有循环神经网络的一些 Cell
• gluon.Trainer 用来辅助更新模型参数的一个辅助类
• mxnet.optimizer 里面有很多优化器
• mxnet.nd 对于 NDArray 的 op 级别操作在这里

如何使用 GPU

当进行运算的值都处于 GPU 上时，则运算发生在 GPU 上。

使用 ctx 来为创建的 NDArray 指定设备

import mxnet as mx
val = nd.zeros(shape=(3,),ctx=mx.gpu())
print(val)

[ 0.  0.  0.]
<NDArray 3 @gpu(0)>

如何将 定义的网络的参数放到 GPU 上

net.initialize() # 利用这个函数， 里面有个 ctx 参数

NDArray 与 numpy.ndarray 互相转换

import numpy as np
from mxnet import nd

# numpy.ndarray --> mx.NDArray
val = np.array([1, 2, 3])
nd_val = nd.array(val) # 深复制

# NDArray --> numpy.ndarray
val_ = nd_val.asnumpy()

参考资料

https://github.com/zackchase/mxnet-the-straight-dope/blob/7a00d1ec253129d844055870d59266a8a502f5c4/chapter06_optimization/gd-sgd.ipynb
https://zh.gluon.ai/index.html