莫凡Pytorch学习笔记（三）

Pytorch分类模型搭建

本篇笔记主要对应于莫凡Pytorch中的3.2节。主要讲了如何使用Pytorch搭建一个分类模型的神经网络。

这里我们同样是继承torch.nn.Module来书写自己的神经网络。在继承该类时，必须重新实现__init__构造函数和forward这两个方法。
接下来我们来自己搭建一个分类模型的神经网络。

数据生成与展示

import torch
import torch.nn.functional as F
import matplotlib.pyplot as plt

这里生成两组正态分布的数据。

其中类别0的数据维度为2，其在各个维度上服从均值为2，方差为1的正态分布，该组数据标签为0，共计 100个数据；
类别1的数据维度为2，其在各个维度上服从均值为-2，方差为1的正态分布，该组数据标签为1，共计 100个数据。

n_data = torch.ones(100, 2)
x0 = torch.normal(2*n_data, 1)            # class0 x data (tensor), shape=(100, 2)
y0 = torch.zeros(100)                     # class0 y data (tensor), shape=(100, 2)
x1 = torch.normal(-2*n_data, 1)           # class1 x data (tensor), shape=(100, 2)
y1 = torch.ones(100)                      # class1 y data (tensor), shape=(100, 2)
x = torch.cat((x0, x1), 0).float()        # FloatTensor
y = torch.cat((y0, y1), 0).long()         # LongTensor

然后我们将两组数据拼接起来，作为全部的训练数据集。

其可视化展示如下。

plt.scatter(x.data.numpy()[:, 0], x.data.numpy()[:, 1], c=y.data.numpy())
plt.savefig("./img/03_data.png")
plt.show()

基本网络搭建

我们自定义一个类来完成分类操作

class Net(torch.nn.Module):
    def __init__(self, n_feature, n_hidden, n_output):
        # 分别表示feature个数、隐藏层神经元数个数、输出值数目
        super(Net, self).__init__()
        self.hidden = torch.nn.Linear(n_feature, n_hidden)
        self.predict = torch.nn.Linear(n_hidden, n_output)
    
    def forward(self, x):
        # x 是输入数据
        x = F.relu(self.hidden(x))   # x -> (n_sample, n_hidden)
        x = self.predict(x)          # x -> (n_sample, n_output)
        y = F.softmax(x, dim=1)      # y -> (n_sample, n_probability(=n_output)))
        return y

这是一个两层的神经网络，其包含一个隐藏层即self.hidden，之后便连接一个输出层self.predict。在前向传播时，网络对隐层的输出进行了Relu操作。与之前回归模型使用的架构基本相同。不同的是，我们在输出之后使用了一步Softmax操作将其输出值归一化到概率值上，判断哪个类别的概率更大，来进行分类。

这里的维度信息尤其要注意，输入x是$n_{sample}\times n_{feature}$即$200\times 2$的向量。经过一层hidden后，维度变为$n_{sample}\times n_{hidden}$，再经过一层predict层后，维度变为$n_{sample}\times n_{output}$，最后进行Softmax时，我们是在每个样本的feature维度上进行的，即dim=1，该维度的向量长度为2，进行Softmax操作之后即得到对应每个类别的预测概率值。

网络搭建完成后，我们可以打印输出一下这个网络的基本结构

net = Net(2, 10, 2)  # 输入为整个Batch的训练数据，每条数据为2个特征，xy坐标，输出为一个长度为200*2向量，其中每个[0, 1]表示输出为1，[1, 0]表示输出为0
print(net)

得到输出如下

Net(
  (hidden): Linear(in_features=2, out_features=10, bias=True)
  (predict): Linear(in_features=10, out_features=2, bias=True)
)

设置优化器和损失函数

接下来我们设置网络的优化器和损失函数。
优化方法设置为随机梯度下降法，学习率设置为0.02。
一般分类问题使用交叉熵损失函数。

optimizer = torch.optim.SGD(net.parameters(), lr=0.02)
loss_func = torch.nn.CrossEntropyLoss()   # 分类问题一般用CrossEntropy的loss

训练与展示

最后，我们展示输出并可视化中间过程。

plt.ion()

for step in range(20):
    out = net(x)            # out是输出的激活值
    loss = loss_func(out, y)
    
    optimizer.zero_grad()   # 首先将所有参数的梯度降为0（因为每次计算梯度后这个值都会保留，不清零就会导致不正确）
    loss.backward()         # 进行反向传递，计算出计算图中所有节点的梯度
    optimizer.step()        # 计算完成后，使用optimizer优化这些梯度
    
    if step % 5 == 0:
        # plot and show learning process
        plt.cla()
        prediction = torch.max(out, 1)[1]         # 这里是输出的结果
        pred_y = prediction.data.numpy()
        target_y = y.data.numpy()
        plt.scatter(x.data.numpy()[:, 0], x.data.numpy()[:, 1], c=pred_y, s=100, lw=0, cmap='RdYlGn')
        accuracy = float((pred_y == target_y).astype(int).sum()) / float(target_y.size)
        plt.text(1.5, -4, 'Accuracy=%.2f' % accuracy, fontdict={'size': 20, 'color':  'red'})
        plt.pause(0.1)

        
plt.ioff()
plt.show()

可以看到随着训练的进行，loss逐渐降低，模型预测的效果越来越好。

参考

1. 莫凡Python：Pytorch动态神经网络，https://mofanpy.com/tutorials/machine-learning/torch/