跟着李沐老师学习深度学习（四）

多层感知机

感知机

• 给定输入x，权重w，和偏移b，感知机输出：
  
  本质是一个二分类问题。（离散的类）

  • vs.线性回归输出的是实数
  • vs.softmax回归输出的是概率

• 训练感知机（60年代）：
  

  • 等价于使用批量大小为1的梯度下降，并使用如下的损失函数：
    
    max() 对应if语句；如果分类正确，则y > 0，所以loss = 0 — >不作更新。

• 收敛定理

  • 假设数据在一个半径 r 内的区域里；假设存在一个余量为 ρ 的分截面，使得所有的分类都是正确的。
    
    在以上情况下，可以知道感知机确实能找到一个最优解，并保证只会在 （r^2 + 1）/ ρ^2 步后收敛。

• XOR问题（Minsky & Papert, 1969）

  • 感知机不能拟合XOR函数，只能产生线性分割面。（不管怎么切，都不能分隔开）

之后，找到了该问题的解决方法——多层感知机

• 总结
  • 感知机是一个二分类模型，是最早的AI模型之一
  • 它的求解算法等价于使用批量大小为1的梯度下降
  • 它不能拟合 XOR 函数（第一次 AI 寒冬）

多层感知机

• 学习XOR
  想要完全分类，单是线性分类是不行的，解决步骤：

  • 学习两种感知机，如下图中蓝色和黄色的线
  • 然后使用两种结果进行相乘，得到的结果我们就可以进行分类（如下表）
    
    
    
    一次做不了，就先学一个简单的模型，然后在学一个，共同解决一个复杂问题 —— 即：多层感知机解决的问题。

• 单隐藏层
  简单的讲，就是下面这个图：（隐藏层大小是超参数）
  

• 单隐藏层——单分类
  其中，m：是隐藏层的神经元个数（h1 ~ h5）；n：是样本的特征数（x1 ~ x4）
  
  其中，σ是按元素的激活函数

• 为什么需要非线性激活函数？
  常犯错误：没有加激活函数，即：当我们将n个全连接层放在一起，发现还是一个最简单的线性模型。

• 激活函数：

  • Sigmoid()激活函数：对于一个定义域在R中的输入，将输入变换为区间(0, 1)上的输出
    
  • Tanh激活函数： 将输入投影到（-1，1）
    
  • RelU激活函数（rectified linear unit）
    
    该函数比较常用、简单。

• 多类分类
  
  与单分类的区别：输出层的W2是一个m * k的矩阵，b2是一个长为k的向量。
  

• 多隐藏层
  
  超参数：

  • 隐藏层数
  • 每层隐藏层的大小
    相较于简单的线性softmax，多层感知机的灵魂在于多出来的中间隐藏层的激活函数。

总结

• 多层感知机使用隐藏层和激活函数来得到非线性模型；
• 常用激活函数是Sigmoid，Tanh，ReLU；
• 使用 Softmax 来处理多类分类；
• 超参数为隐藏层数，和各个隐藏层大小。

代码实现 – 多层感知机的从零开始实现

1. 数据准备
   导入必要的库：导入torch、nn（PyTorch 的神经网络模块）以及d2l工具库，方便后续使用其提供的数据加载和训练函数。
   加载数据集：使用d2l.load_data_fashion_mnist函数加载 Fashion - MNIST 数据集，并设置批量大小batch_size为 256，得到训练数据迭代器train_iter和测试数据迭代器test_iter。

   import torch
   from torch import nn
   from d2l import torch as d2l
   
   batch_size = 256
   train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size)
   

2. 确定模型参数
   定义模型维度：确定输入层、隐藏层和输出层的神经元数量。这里输入层维度num_inputs为 784（因为 Fashion - MNIST 图像展平后是 784 维向量），输出层维度num_outputs为 10（对应 10 个类别），隐藏层维度num_hiddens为 256。
   初始化模型参数：对模型的权重矩阵W1、W2和偏置向量b1、b2进行初始化，并将它们包装为nn.Parameter类型，以便 PyTorch 能自动跟踪其梯度。W1和W2使用随机正态分布初始化，b1和b2初始化为零向量。

   num_inputs, num_outputs, num_hiddens = 784, 10, 256
   
   W1 = nn.Parameter(torch.randn(num_inputs, num_hiddens, requires_grad=True))
   b1 = nn.Parameter(torch.zeros(num_hiddens, requires_grad=True))
   
   W2 = nn.Parameter(torch.randn(num_hiddens, num_outputs, requires_grad=True))
   b2 = nn.Parameter(torch.zeros(num_outputs, requires_grad=True))
   
   params = [W1, b1, W2, b2]
   

3. 定义激活函数
   实现 ReLU（Rectified Linear Unit）激活函数，它是一种常用的非线性激活函数，可以为模型引入非线性特性。ReLU 函数将输入中小于零的值置为零，大于零的值保持不变。

   def relu(X):
       a = torch.zeros_like(X)
       return torch.max(X, a)
   

4. 构建模型
   定义多层感知机模型的前向传播过程。首先将输入数据X展平为二维张量，然后通过第一个线性变换（X @ W1 + b1）得到隐藏层的输入，再经过 ReLU 激活函数得到隐藏层的输出H，最后将隐藏层的输出通过第二个线性变换（H @ W2 + b2）得到模型的最终输出。

   def net(X):
       X = X.reshape((-1, num_inputs))
       H = relu(X @ W1 + b1)
       return (H @ W2 + b2)
   

5. 定义损失函数
   选择交叉熵损失函数nn.CrossEntropyLoss，它适用于多分类问题，能够衡量模型预测结果与真实标签之间的差异。

   loss = nn.CrossEntropyLoss()
   

6. 选择优化器
   使用随机梯度下降（SGD）优化器torch.optim.SGD，并设置学习率lr为 0.01，用于在训练过程中更新模型的参数。

   num_epochs, lr = 10, 0.01
   updater = torch.optim.SGD(params, lr=lr)
   

7. 模型训练
   设置训练的轮数num_epochs为 10，然后调用d2l.train_ch3函数进行模型训练。该函数会在每个训练轮次中，使用训练数据迭代器train_iter进行前向传播、损失计算、反向传播和参数更新，并在每个轮次结束后使用测试数据迭代器test_iter评估模型的性能。

   d2l.train_ch3(net, train_iter, test_iter, loss, num_epochs, updater)
   

最终结果：

代码实现 – 多层感知机的简洁实现

import torch
from torch import nn
from d2l import torch as d2l

net = nn.Sequential(nn.Flatten(),
                    nn.Linear(784, 256), 
                    nn.ReLU(), 
                    nn.Linear(256, 10))

def init_weights(m):
    if type(m) == nn.Linear:
        nn.init.normal_(m.weight, std=0.01)
        
net.apply(init_weights);

# 训练

batch_size, lr, num_epochs = 256, 0.1, 10
loss = nn.CrossEntropyLoss(reduction='none')
trainer = torch.optim.SGD(net.parameters(), lr=lr)

train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size)
d2l.train_ch3(net, train_iter, test_iter, loss, num_epochs, trainer)

最终结果：
与之前的训练过程并没有本质区别；从代码角度，变化的东西并不多。