动手学深度学习笔记（一）

一、数据操作

        NDarray是很重要的一种数据类型，可以用来表示向量或矩阵。有时需要初始化权重系数，需要用到随机生成的功能，若需要生成一个3*4的矩阵，且每个元素都随机采样于均值为0标准差为1的正态分布，则使用如下函数：

nd.random.normal(0, 1, shape=(3, 4))# 分别为均值，标准差，向量/矩阵形状

        若需要将两个矩阵或向量之间在行上或列上进行连接，可以使用concat函数，连接维度为0即在行上连接，为1则在列上连接

nd.concat(X, Y, dim=0), nd.concat(X, Y, dim=1)# 分别表示连接矩阵和连接维度

        求矩阵的L2范数可以使用norm函数，矩阵X的L2范数即(为共轭转置矩阵)的最大特征值的平方根，同时可以使用asscalar函数转为标量。

二、自动求梯度

        首先需要申请存储梯度所需要的内存，使用attach_grad函数，例如y = 2xTx，要求有关向量x的梯度；

        随后需要记录与求梯度所需要的计算，可以使用record函数，需要注意的是，若y不为标量，则会自动将y中的所有元素进行求和得到新的变量；

        接下来可以通过调用backward函数自动求梯度，梯度变量即为x.grad

x.attach_grad()
with autograd.record()
    y = 2 * nd.dot(x.T, x)
y.backward()
print(x.grad)

随后将会记录深度学习基础内容