pytorch深度学习实践6——代码实现(搭建简单的神经网络、二分类的神经网络、快速搭建神经网络的方式、保存和提取神经网络、batch训练（进行小批训练）)

搭建简单的神经网络

import torch
import torch.nn.functional as F
from torch.autograd import Variable
import matplotlib.pyplot as plt

#假的数据
x = torch.unsqueeze(torch.linspace(-1, 1, 100), dim=1)
y = x.pow(2)+0.2*torch.rand(x.size())#0.2*torch.rand(x.size())添加随机数，即噪点

# plt.scatter(x.data.numpy(),y.data.numpy())
# plt.show()
#搭建神经网络模型
class Net(torch.nn.Module):   #继承torch.nn.Module的内容和方法
    def __init__(self,n_features,n_hidden,n_output):
        super(Net,self).__init__()  #官方操作，继承方法
        #定义隐藏层，输入特征数n_features和隐藏层数n_hidden
        self.hidden = torch.nn.Linear(n_features,n_hidden)
        #定义输出层，输入隐藏层数n_hidden和输出层数n_output
        self.predict = torch.nn.Linear(n_hidden,n_output)
    def forward(self,x):  #定义x是输入信息
        x = F.relu(self.hidden(x))#将输入信息传入隐藏层，再用激活函数得到输出值
        x = self.predict(x)  #为了避免得到的结果被截断，输出时不使用relu激活函数
        return x
net = Net(n_features=1,n_hidden=10,n_output=1)
print(net)
plt.ion()   #实时显示
plt.show()
#定义优化器  SGD随机梯度下降  net.parameters()是net中需要优化的所有参数  lr是学习率
optimizer = torch.optim.SGD(net.parameters(),lr=0.2)
#定义损失函数   MSELoss()均方差误差函数，用于回归问题
loss_func = torch.nn.MSELoss()

#训练
for i in range(200):
    prediction = net(x)
    #计算预测值和真实值的差别,预测值在前，真实值在后
    loss = loss_func(prediction,y)
    #将梯度归零，避免下次优化参数时保存有上次的梯度值
    optimizer.zero_grad()
    #进行误差反向传播
    loss.backward()
    #对参数进行更新
    optimizer.step()
    if i % 5==0:
        plt.cla()
        plt.scatter(x.data.numpy(),y.data.numpy())  #plt只接收numpy的数据
        plt.plot(x.data.numpy(),prediction.data.numpy(),'r-',lw=5)
        plt.text(0.5,0,'Loss=%.4f'%loss.data,fontdict={'size':20,'color':'red'})
        plt.pause(0.1)
plt.ioff()
plt.show()

二分类的神经网络

#二分类问题

import torch
import torch.nn.functional as F
import matplotlib.pyplot as plt


#假的数据
n_data = torch.ones(100,2)
x0 = torch.normal(2*n_data,1)   #x0的数据
y0 = torch.zeros(100)           #x0的标签，都为0
x1 = torch.normal(-2*n_data,1)  #x1的数据
y1 = torch.ones(100)            #x1的标签，都为1
x = torch.cat((x0,x1),0).type(torch.FloatTensor)  #将x0，x1合并在一起当作数据，数据是Float类型
y = torch.cat((y0,y1),).type(torch.LongTensor)    #y0 y1 合并在一起当作标签，数据类型为int

# plt.scatter(x.data.numpy()[:, 0], x.data.numpy()[:, 1], c=y.data.numpy(), s=100, lw=0, cmap='RdYlGn')
# plt.show()

#搭建神经网络模型
# method1
class Net(torch.nn.Module):   #继承torch.nn.Module的内容和方法
    def __init__(self,n_features,n_hidden,n_output):
        super(Net,self).__init__()  #官方操作，继承方法
        self.hidden = torch.nn.Linear(n_features,n_hidden)
        self.predict = torch.nn.Linear(n_hidden,n_output)
    def forward(self,x):  #定义x是输入信息
        x = F.relu(self.hidden(x))
        x = self.predict(x)  #为了避免得到的结果被截断，输出时不使用relu激活函数
        return x
#x数据有两个特征：即x轴坐标和y轴坐标  输出结果也有两个：即[0,1]或[1,0]
net = Net(n_features=2,n_hidden=10,n_output=2)

plt.ion()   #实时显示
plt.show()
#定义优化器  SGD随机梯度下降  net.parameters()是net中需要优化的所有参数  lr是学习率
optimizer = torch.optim.SGD(net.parameters(),lr=0.02)
#定义损失函数   CrossEntropyLoss交叉熵损失函数 输出结果为概率值:
# 即对三分类问题输出结果为[0.2,0.1,0.7] 相加为1
loss_func = torch.nn.CrossEntropyLoss()

#训练
for i in range(200):
    out = net(x)
    #计算预测值和真实值的差别,预测值在前，真实值在后
    loss = loss_func(out,y)
    #将梯度归零，避免下次优化参数时保存有上次的梯度值
    optimizer.zero_grad()
    #进行误差反向传播
    loss.backward()
    #对参数进行更新
    optimizer.step()
    if i % 2==0:  #每两次输出一次
        plt.cla()
        #softmax  将输出的结果转换为概率值
        #F.softmax(x,dim=1) 对每一行进行softmax
        #F.softmax(x,dim=0) 对每一列进行softmax

        prediction = torch.max(F.softmax(out), 1)[1]
        pred_y = prediction.data.numpy()
        target_y = y.data.numpy()
        plt.scatter(x.data.numpy()[:, 0], x.data.numpy()[:, 1], c=pred_y, s=100, lw=0, cmap='RdYlGn')
        accuracy = float((pred_y == target_y).astype(int).sum()) / float(target_y.size)
        plt.text(1.5, -4, 'Accuracy=%.2f' % accuracy, fontdict={'size': 20, 'color': 'red'})
        plt.pause(0.1)
plt.ioff()
plt.show()

快速搭建神经网络的方式

#快速搭建神经网络
import torch
import torch.nn.functional as F
import matplotlib.pyplot as plt

#假的数据
n_data = torch.ones(100,2)
x0 = torch.normal(2*n_data,1)   #x0的数据
y0 = torch.zeros(100)           #x0的标签，都为0
x1 = torch.normal(-2*n_data,1)  #x1的数据
y1 = torch.ones(100)            #x1的标签，都为1
x = torch.cat((x0,x1),0).type(torch.FloatTensor)  #将x0，x1合并在一起当作数据，数据是Float类型
y = torch.cat((y0,y1),).type(torch.LongTensor)    #y0 y1 合并在一起当作标签，数据类型为int


# method2
net2 = torch.nn.Sequential(
    torch.nn.Linear(2,10),
    torch.nn.ReLU(),
    torch.nn.Linear(10,2)
)

print(net2)
plt.ion()   #实时显示
plt.show()
#定义优化器  SGD随机梯度下降  net.parameters()是net中需要优化的所有参数  lr是学习率
optimizer = torch.optim.SGD(net2.parameters(),lr=0.02)
#定义损失函数   CrossEntropyLoss交叉熵损失函数 输出结果为概率值:
# 即对三分类问题输出结果为[0.2,0.1,0.7] 相加为1
loss_func = torch.nn.CrossEntropyLoss()

#训练
for i in range(200):
    out = net2(x)
    #计算预测值和真实值的差别,预测值在前，真实值在后
    loss = loss_func(out,y)
    #将梯度归零，避免下次优化参数时保存有上次的梯度值
    optimizer.zero_grad()
    #进行误差反向传播
    loss.backward()
    #对参数进行更新
    optimizer.step()
    if i % 2==0:  #每两次输出一次
        plt.cla()
        #softmax  将输出的结果转换为概率值
        #F.softmax(x,dim=1) 对每一行进行softmax
        #F.softmax(x,dim=0) 对每一列进行softmax

        prediction = torch.max(F.softmax(out), 1)[1]
        pred_y = prediction.data.numpy()
        target_y = y.data.numpy()
        plt.scatter(x.data.numpy()[:, 0], x.data.numpy()[:, 1], c=pred_y, s=100, lw=0, cmap='RdYlGn')
        accuracy = float((pred_y == target_y).astype(int).sum()) / float(target_y.size)
        plt.text(1.5, -4, 'Accuracy=%.2f' % accuracy, fontdict={'size': 20, 'color': 'red'})
        plt.pause(0.1)
plt.ioff()
plt.show()

保存和提取神经网络

#保存和提取神经网络

import torch
import matplotlib.pyplot as plt
import torch.nn.functional as F

# 假的数据
x = torch.unsqueeze(torch.linspace(-1, 1, 100), dim=1)  # x data (tensor), shape=(100, 1)
y = x.pow(2) + 0.2*torch.rand(x.size())


def save():
    #快速搭建神经网络
    net1 = torch.nn.Sequential(
        torch.nn.Linear(1,10),
        torch.nn.ReLU(),
        torch.nn.Linear(10,1)
    )

    optimizer = torch.optim.SGD(net1.parameters(),lr=0.2)
    loss_func = torch.nn.MSELoss()

    for t in range(100):
        prediction = net1(x)
        loss = loss_func(prediction,y)
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()

    plt.figure(1, figsize=(10, 3))
    plt.subplot(131)
    plt.title('Net1')
    plt.scatter(x.data.numpy(), y.data.numpy())
    plt.plot(x.data.numpy(), prediction.data.numpy(), 'r-', lw=5)

    torch.save(net1,'net.pkl')  #保存整个网络
    torch.save(net1.state_dict(),'net_params.pkl')  #保存网络中所有的参数

def restore_net():
    net2 = torch.load('net.pkl')   #提取网络
    prediction = net2(x)

    plt.subplot(132)
    plt.title('Net2')
    plt.scatter(x.data.numpy(), y.data.numpy())
    plt.plot(x.data.numpy(), prediction.data.numpy(), 'r-', lw=5)

def restore_parames():
    net3 = torch.nn.Sequential(
        torch.nn.Linear(1,10),
        torch.nn.ReLU(),
        torch.nn.Linear(10,1)
    )
    #提取网络参数的时候要先定义与原网络同样的网络结构
    net3.load_state_dict(torch.load('net_params.pkl'))
    prediction = net3(x)

    plt.subplot(133)
    plt.title('Net3')
    plt.scatter(x.data.numpy(), y.data.numpy())
    plt.plot(x.data.numpy(), prediction.data.numpy(), 'r-', lw=5)
    plt.show()

save()
restore_net()
restore_parames()

batch训练（进行小批训练）

#进行小批训练batch

import torch
import torch.utils.data as Data
torch.manual_seed(1)
BATCH_SIZE = 5

x = torch.linspace(1,10,10)
y = torch.linspace(10,1,10)

torch_dataset=Data.TensorDataset(x,y)   #将x，y值赋给torch_dataset
loader = Data.DataLoader(               #加载数据
    dataset = torch_dataset,
    batch_size = BATCH_SIZE,
    shuffle=True,   #采样数据是否要打乱顺序
    num_workers=2,
)

def show_batch():
    for epoch in range(3):
        for step,(batch_x,batch_y) in enumerate(loader):
            print('Epoch: ', epoch, '| Step: ', step, '| batch x: ',
                  batch_x.numpy(), '| batch y: ', batch_y.numpy())
if __name__=='__main__':
    show_batch()