【PyTorch】建造神经网络

本文为 PyTorch 学习总结，讲解建造神经网络。欢迎交流

前言

神经网络分为两种类型，一种是回归，一种是分类。回归的输出值是连续问题，分类的输出值是离散值，我们将分别搭建这两种神经网络。

关系拟合（回归）

首先引入库：

import torch
from torch.autograd import Variable
import torch.nn.functional as F # 激励函数
import matplotlib.pyplot as plt

然后需要自己造一些数据，并设置噪声：

# x data (tensor), shape=(100, 1)
# 在torch中只会处理二维数据，用unsqueeze将一维转换为二维
x = torch.unsqueeze(torch.linspace(-1, 1, 100), dim=1)
# noisy y data (tensor), shape=(100, 1)
y = x.pow(2) + 0.2*torch.rand(x.size())

因为神经网络只能输入 Variable 型数据，将数据装入 Variable：

x, y = Variable(x), Variable(y)

然后画出散点图，进行数据可视化：

plt.scatter(x.data.numpy(), y.data.numpy())
plt.show()

得到的散点图如下：

接着就要定义我们的神经网络了，其中包括了搭建神经网络所需的信息 __init__ 和前向传播过程 forward，详解见注释：

# 用class定义神经网络，继承torch.n.Module
class Net(torch.nn.Module):
    # 官方步骤。搭建神经网络层所需的信息
    def __init__(self, n_feature, n_hidden, n_output):
        super(Net, self).__init__() # 搭图前继承Net
        # 接下来是自己的内容
        # 层信息都是属性，隐藏层线性输出
        # n_feature为输入数据个数，n_hidden为隐藏层神经元个数
        self.hidden = torch.nn.Linear(n_feature, n_hidden)
        # 预测的神经层，n_hidden为接收的隐藏层神经元个数，n_output为输出个数
        self.predict = torch.nn.Linear(n_hidden, n_output)
    # 前向传播过程
    def forward(self, x): # x为输入信息
        # 先用hidden加工x得到隐藏层输出的信息，再用激励函数加工
        x = F.relu(self.hidden(x))
        # 输出信息，预测无需用激励函数
        x = self.predict(x)
        return x

搭建完神经网络后，就可以定义 net了：

net = Net(1, 10, 1)
# 输出神经网络所有层结构
print(net)

得到神经网络所有层结构：

然后还需要对神经网络进行优化，并定义代价函数（损失函数）：

# 优化神经网络。传入net的所有参数, 学习率lr<1
optimizer = torch.optim.SGD(net.parameters(), lr=0.5)
# 预测值和真实值的误差计算公式 (均方差)，均方差足以应对回归问题
loss_func = torch.nn.MSELoss()

定义完这些步骤后，就可以开始训练我们的神经网络了：

for t in range(100):
    prediction = net(x) # 假设函数的预测值
    loss = loss_func(prediction, y) # 误差
    
    # 开始优化
    optimizer.zero_grad()   # 将所有梯度降为0。清空上一步的梯度
    loss.backward()         # 误差反向传播, 计算参数更新值
    # 以学习率0.5优化梯度
    optimizer.step()        # 将参数更新值施加到net的parameters上

这就是整个神经网络的训练过程了，如果要可视化这个过程，还需要添加一些代码：

# 可视化
plt.ion() # 设置实时打印
plt.show()

optimizer = torch.optim.SGD(net.parameters(), lr=0.5)
loss_func = torch.nn.MSELoss()

for t in range(100):
    ...
    
    if t % 5 == 0: # 每5步打印
        # plot and show learning process
        plt.cla()
        plt.scatter(x.data.numpy(), y.data.numpy()) # 原始数据
        # 神经网络学习到什么程度了
        plt.plot(x.data.numpy(), prediction.data.numpy(), 'r-', lw=5)
        # 打印误差
        plt.text(0.5, 0, 'Loss=%.4f' % loss.data.numpy(), fontdict={
   'size': 20, 'color':  'red'})
        plt.pause(0.1)

plt.ioff()
plt.show()

搭建出的神经网络结果为：

由此，我们搭建出了一个简单的神经网络，学习了如何看神经网络，它是如何学习的。

区分类型（分类）

这部分的代码与上一部分相似，只需要进行部分修改，下面进行详细讲解。

数据部分需要进行修改，重新生成一些数据，注意 x,y 部分的数据类型：

n_data = torch.ones(100, 2) # data的基数
x0 = torch.normal(2*n_data, 1) # 类型0 x data (tensor), shape=(100, 2)
y0 = torch.zeros(100) # 类型0 y data (tensor), shape=(100, )
x1 = torch.normal(-2*n_data, 1) # 类型1 x data (tensor), shape=(100, 1)
y1 = torch.ones(100) # 类型1 y data (tensor), shape=(100, )
# 下面为x, y数据的规定形式 (torch.cat合并数据)
# x合并为数据，使用32位FloatTensor的浮点数
x = torch.cat((x0, x1), 0).type(torch.FloatTensor)
# y合并为标签，使用64位LongTensor的整型
y = torch.cat((y0, y1), ).type(torch.LongTensor)

x, y = Variable(x), Variable(y)