Mxnet (10): 深度学习神经网络构造

1.构造net

1.1 构造Block

Block类是nn模块里提供的一个模型构造类，简单概括Block的基本功能：

• 接收输入数据作为其前向传播函数的参数。
• 通过使前向传播函数返回一个值来生成输出。请注意，输出的形状可能与输入的形状不同。
• 计算其输出相对于其输入的梯度，可以通过其反向传播函数进行访问。通常，这是自动发生的。
• 存储并提供对执行前向传播计算所需的那些参数。
• 根据需要初始化模型参数。

我们可以继承它来定义我们想要的模型：

• 通过重写Block类的__init__方法，构造模型结构
• 通过重写Block类的forward方法，定义参数和正向传播过程。

from mxnet import npx, np,init
from mxnet.gluon import nn
npx.set_np()


X = np.random.uniform(size=(2, 20))

class MLP(nn.Block):
    def __init__(self, **kwargs):
        super().__init__(**kwargs)
        self.hidden = nn.Dense(256, activation='relu')  # 定义一个256个隐藏单元的隐藏层
        self.out = nn.Dense(10) # 定义一个10纬的输出层
        
    # 这里的X为输入
    def forward(self, X):
        return self.out(self.hidden(X))

net = MLP()
net.initialize()
net(X)

1.2 构造Sequential

Block类是一个通用的部件。Sequential类继承自Block类。Sequential的作用是当模型的前向计算为简单串联各个层的计算时，可以通过更加简单的方式定义模型。它提供add函数来逐一添加串联的Block子类实例，而模型的forward就是将这些实例按添加的顺序逐一计算。

class MySequential(nn.Block):
    # 通过add方法将block 添加到_clildren这个字典里
    def add(self, block):
        self._children[block.name] = block
        
    # 使用_children中的每一个block处理X
    def forward(self, X):
        for block in self._children.values():
            X=block(X)
        return X

• 当MySequential调用我们的前向传播函数时，每个添加的块都按照添加的顺序执行。现在，我们可以使用我们的MySequential类来重新实现MLP 。

net = MySequential()
net.add(nn.Dense(256, activation='relu'))
net.add(nn.Dense(10))
net.initialize()
net(X)

1.3 在正向传播中执行代码

虽然Sequentail类使模型构造更加简单，需要定义forward函数，但直接继承Block类可以极大地拓展模型构造的灵活性。可以定义自己想要的数学运算，不局限于目前预设好的神经层。可以通过构造自己的block，在正向传播中进行一些计算。
构造一个稍微复杂点的网络FancyMLP。在这个网络中，我们通过get_constant函数创建训练中不被迭代的参数，即常数参数。在返回输出之前，我们的模型做了一些不寻常的事情。我们运行了一个while循环，测试它的条件 L1 规范大于 1 ，然后将输出向量除以 2 直到满足条件为止。最后，我们返回中的条目总和X。

class FixedHiddenMLP(nn.Block):
    def __init__(self, **kwargs):
        super().__init__(**kwargs)
        self.rand_weight=self.params.get_constant('rand_weight', np.random.uniform(size=(20,20)))
        self.dense