动手学mxnet系列之NDArray

在mxnet中，NDArray是所有运算的核心数据结构，mxnet中的所有数据均使用NDArray进行表示，NDarray有点类似于numpy中的ndarray，操作上面也与numpy很相似，但是NDArray提供了numpy.ndarray所不具备的操作，比如:GPU,CPU的切换，自动求梯度的运算等等，这也是为什么mxnet要重新封装一个NDArray的原因。

NDArray就好比盖房子的砖，砖有了自然可以盖房子了，所以利用NDArray你便可以实现所有的深度学习模型了，只是深度学习日新月异，如果每个模型都从NDArray开始写，那当然是比较麻烦的，所以MXnet或者gluon帮我们封装了一些函数可以直接使用，接下来我们都会逐一的了解，那么这一节我们先来仔细学习一下mxnet的NDArray：

特别说明：下面的操作只是NDArray的一些基本操作，
获取更多的操作还请查找MXNet文档：https://mxnet.incubator.apache.org/api/python/ndarray/ndarray.html

当然，我希望你可以跟我一起来敲如下的代码而不是看一遍就过去了，事实证明，敲一遍的效果会好很多

在mxnet中，使用NDArray需要引用nd包(nd是ndarray的缩写)，如下：

from mxnet import nd

在引入nd包之后就可以愉快的使用NDArry了。

特别说明，下面代码中 ‘->’ 代表的是输出结果

1. 定义x为一个序列，这里与numpy一致，不同的是，这里返回的每个元素类型都是ndarray

x = nd.arange(12)   -> [0. 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11.]

2. 当然我们可以打印出ndarray的shape以及size,这里的shape和size不要混淆了

x.shape      ->  (12 ,)
x.size       ->  12
x.context    -> x在CPU还是在GPU上

x.dtype      -> data type,即每个元素的类型
## 当然，我们也可以改变元素的类型
x = x.astype(‘float32’) ## 利用astype便可以改变元素的类型了。

3. 那么如果我们想要构建一个二维矩阵怎么办呢？可以考虑reshape函数

x = nd.arange(12)
x.reshape(shape=(3,4))
# 当然你同样可以省略shape参数，直接这样写：
x.reshape((3,4)) ## 不过不要忘记（3，4）这个括号

4. 如果我们想初始化一个值为0或者值为1的多维矩阵该怎么做呢？

zero = nd.zeros((2,3,4))  # 别忘记了是负数
one = nd.ones((2,3,4))

5. 那如何建立一个随机初始化的矩阵呢？

S = nd.random.normal(0,1,shape=(3,4)) # normal是高斯分布

6. 当然我们也可以直接利用list直接建立ndarray，如下：

Y = nd.array([[1,2,3,4],[5,6,7,8],[9,10,11,12]])

7. 在计算机视觉中，图像一般是3维的，但是在进行模型训练的时候，往往需要将多张图像组成一个batch，构成4维数组，ndarray当然支持,使用concat：

x=nd.random.normal(shape=(2,3,4))   ->    x.shape (2,3,4)
y=nd.random.normal(shape=(2,3,4))   ->    y.shape (2,3,4)
z=nd.concat(x,y,dim=0)              ->    z.shape (4,3,4)
# 因为concat是不改变维度的，那么如果构建一个batch呢？利用expand_dims函数
x = nd.expand_dims(x, axis=0)      ->     x.shape (1,2,3,4) 
y = nd.expand_dims(y, axis=0)      ->     y.shape (1,2,3,4)
z=nd.concat(x,y,dim=0)             ->     z.shape (2,2,3,4)

8. ndarray天然支持常用的数学计算，这里方法较多，可以查阅文档，里面有例子，使用会比较方便

S*Y
S/Y
S.exp()
S == Y
nd.dot(S,Y.T) ## 点乘比较常用，深度学习中矩阵计算就是使用的点乘，如果你从头编写神经网络，一定离不开点乘
nd.floor(S) ## 向下取整
nd.ceil(S) ## 向上取整
nd.argmax() ## 返回最大值的index
nd.topk() ## 返回topk

9. ndarray与numpy的相互转换：

# ndarray -> numpy

C = S.asnumpy()

# numpy -> ndarray

p = np.ones((2,3))
d = nd.array(p)

# 同样的，我们也可以直接返回一个标量
x = nd.ones((1,), dtype='int32')
y = x.asscalar() ## 这里注意，必须是1维的才可以使用，二维会报错。

10. 前面我们说了，NDArray可以自动计算梯度，那么如何使用呢？

1. 引用包   ：from mxnet import autograd
2. 定义变量 : x = nd.arange(4).reshape((4,1))
3. 关联梯度，默认变量是不为梯度在内存开空间的，如果想要计算梯度，需要进行梯度关联，这样程序才会在内存上为变量开梯度的空间，如下：
x.attach_grad()

4. 计算的时候，使用autograd.record()记录梯度，如下是点乘的计算。
with autograd.record():
    y = 2 * nd.dot(x.T,x)
5. 使用backward()计算梯度： y.backward()

总结到一起就是如下：

from mxnet import autograd
x = nd.arange(4).reshape((4,1))
x.attach_grad()
with autograd.record():
    y = 2 * nd.dot(x.T,x)
y.backward()

11. 关于CPU与GPU的切换

x = nd.random.normal(shape=(3,4))  ## 默认在CPU内存中
y = nd.random.normal(shape=(3,4), ctx=mx.gpu(0)) ## 利用ctx指定对应的GPU
x = x.as_in_context(mx.gpu(0)) ## 利用as_in_context进行CPU到GPU的切换

12. 复制也是常用的操作，利用copy（）可以避免浅拷贝的尴尬

x = nd.array([1,2,3])
y = x.copy()
## 为什么要使用copy()呢?因为在python中，默认的copy是浅拷贝，如果直接y=x,当x改变的时候，y会跟着改变，这就会出现错误。

特别说明：之上只是NDArray的一些基本操作，
获取更多的操作还请查找MXNet文档https://mxnet.incubator.apache.org/