MLP 多层感知机

为了拟合更特殊的函数，在网络中加入多个隐藏层，克服线性的限制。最后一层可以看作线性predictor。

一、

1.最简单流程

输入x矩阵，含有n个样本，每个样本有d个特征。经过隐藏层H将维度转化为h，在经过最后的输出层O将维度转化为q。

2.当我们添加了多个隐藏层时，如果只是对上一层的输出做一个简单的映射，可以发现：

合并隐藏层后其实等价于单层的模型。

所以，需要在每个隐藏单元输出应用激活函数σ（常用包括 relu 0~1，sigmoid 0~1，tanh -1~1），这样就避免了上述的退化情况。

3.如果是全连接的网络，每个神经元都依赖于所有输入的值。所以理论上只有一个隐藏层也可以通过足够的神经元和权重，拟合任意函数。

不过，使用更深（而不是更广）的网络，可以更容易的拟合函数。

4.代码实现

· 初始化w、b

· def relu(X):

    a = torch.zeros_like(X) # 创建一个与X形状相同且元素全为0的张量

    return torch.max(X, a)

· def net(X):

    X = X.reshape((-1, num_inputs)) # 将每张图片都拉平成一个一维的向量

    H = relu(X@W1 + b1)  # 这里“@”代表矩阵乘法

    return (H@W2 + b2)

· loss = nn.CrossEntropyLoss(reduction='none')

· updater = torch.optim.SGD(params, lr=lr)

· d2l.train_ch3(net, train_iter, test_iter, loss, num_epochs, updater)

5.总结

· 对于相同的分类问题，多层感知机的实现与softmax回归的实现相同，只是多层感知机的实现里增加了带有激活函数的隐藏层。

· 不同的层数、激活函数、权重，都会影响模型acc。

二、过拟合 欠拟合

1.在监督学习中（有监督学习指的是 我们知道每个样本的结果 如回归，无监督学习指的是 不知道/没有样本的结果 如聚类降维），我们假设train set和test set是独立同分布的。

2.介绍几个倾向于影响模型泛化的因素

· 可调整参数的数量。当可调整参数的数量（有时称为自由度）很大时，模型往往更容易过拟合。因为容易受到噪声的影响而拟合歪了。

· 参数采用的值。当权重的取值范围较大时，模型可能更容易过拟合。

· 训练样本的数量。即使模型很简单，也很容易过拟合只包含一两个样本的数据集。而过拟合一个有数百万个样本的数据集则需要一个极其灵活的模型。

3.验证集

实际应用中，测试集只会使用一次。所以我们会通过验证集确定一个最好的超参数，最后再测试。

我记得验证集是从训练集里分出来的，测试集是单独的。

4.K折交叉验证

当训练数据稀缺时，我们甚至可能无法提供足够的数据来构成一个合适的验证集。这个问题的一个流行的解决方案是采用K折交叉验证。

这里，原始训练数据被分成K个不重叠的子集。然后执行K次模型训练和验证，每次在K－1个子集上进行训练，并在剩余的一个子集（在该轮中没有用于训练的子集）上进行验证。最后，通过对K次实验的结果取平均来估计训练和验证误差。

5.生成数据集的代码

features = np.random.normal(size=(n_train + n_test, 1)) # 生成特征

np.random.shuffle(features)

poly_features = np.power(features, np.arange(max_degree).reshape(1, -1))  # 多项式特征

for i in range(max_degree): # gamma函数重新缩放

    poly_features[:, i] /= math.gamma(i + 1)  # gamma(n)=(n-1)!

# labels的维度:(n_train+n_test,)

labels = np.dot(poly_features, true_w) #点乘

labels += np.random.normal(scale=0.1, size=labels.shape) # 添加噪声

当使用reshape(1, -1)时，NumPy会根据原始数组的形状和1这个参数，自动计算出合适的列数，使得改变形状后的数组元素个数不变。

三、范数与权重衰减

注解：为了防止过拟合 提高泛化性，使用权重衰减的方法。

它是通过给损失函数增加模型权重L2范数的惩罚(penalty)来让模型权重不要太大，以此来减小模型的复杂度，从而抑制模型的过拟合。  因为上文提过，权重的取值过大也会导致过拟合。

简洁实现：

DL将权重衰减集成到优化器中

def train_concise(wd):

    net = nn.Sequential(nn.Linear(num_inputs, 1)) # 定义模型

    for param in net.parameters():

        param.data.normal_() # 初始化模型参数

    loss = nn.MSELoss(reduction='none')

    num_epochs, lr = 100, 0.003

    # 偏置参数没有衰减

    trainer = torch.optim.SGD([

        {"params":net[0].weight,'weight_decay': wd},  # 指定权重衰减

        {"params":net[0].bias}], lr=lr)   # 偏置参数没有衰减

    animator = d2l.Animator(xlabel='epochs', ylabel='loss', yscale='log',

                            xlim=[5, num_epochs], legend=['train', 'test'])   # 绘图

    for epoch in range(num_epochs):

        for X, y in train_iter:

            trainer.zero_grad()

            l = loss(net(X), y)

            l.mean().backward() #在l上进行反向传播

            trainer.step()  # 更新参数

        if (epoch + 1) % 5 == 0:

            animator.add(epoch + 1,

                         (d2l.evaluate_loss(net, train_iter, loss),

                          d2l.evaluate_loss(net, test_iter, loss)))

    print('w的L2范数：', net[0].weight.norm().item())