第九讲多分类问题

第九讲多分类问题的学习和源码

B站 刘二大人 教学视频 传送门：多分类问题

视频截图分析：

 1、softmax的输入不需要再做非线性变换，也就是说softmax之前不需要激活函数(relu)。softmax的两个作用，若在进行softmax前的input有负数，通过指数变换，得到正数。所有类的概率求和为1。如下图的说法一致。

 2、Softmax layer 如下图所示 内涵三个模块，由softmax进行综合运算如下图所示，在程序中，

多分类问题，标签y的类型是LongTensor。比如说0-9分类问题，如果y = torch.LongTensor([8])，对应的one-hot是[0,0,0,0,0,0,0,1,0,0].(这里要注意，如果使用了one-hot，标签y的类型是LongTensor，糖尿病数据集中的target的类型是FloatTensor)

 3、y的标签编码方式是one-hot。我对于这种one-hot编码方式的简单理解，其实就是所有参位只有一个是1，其他位均是0(但是标签的one-hot编码是算法完成的，算法的输入仍为原始标签)

 4、CrossEntropyLoss <==> LogSoftmax + NLLLoss。也就是说使用CrossEntropyLoss最后一层(线性层)是不需要做其他变化的；使用NLLLoss之前，需要对最后一层(线性层)先进行SoftMax处理，再进行log操作。

 

代码的一些说明：

①、with torch.no_grad()将不用计算的梯度的变量放在里面  torch.no_grad()用法

②、 torch.max(input, dim) 函数
output = torch.max(input, dim)

输入

input是softmax函数输出的一个tensor
dim是max函数索引的维度0/1，0是每列的最大值，1是每行的最大值

输出

函数会返回两个tensor，第一个tensor是每行的最大值，softmax的输出中最大的是1，
所以第一个tensor是全1的tensor；第二个tensor是每行最大值的索引。

 ③、_下划线有很多含义，而文中的下划线是有注释，它用于记录某一行最大值

---

多分类问题源码：

import torch
import matplotlib.pyplot as plt
#For constructing DataLoader
from torchvision import transforms,datasets
from torch.utils.data import DataLoader
#For using function relu()
import torch.nn.functional as F
#For constructing optimizer
import torch.optim as optim
import os
os.environ["KMP_DUPLICATE_LIB_OK"]='True'

batch_size = 64
transform = transforms.Compose([
    #Convert the PLI Image to Tensor
    transforms.ToTensor(),
    #参数为平均值和标准值
    transforms.Normalize((0.1307,),(0.3081,))
])

train_dataset = datasets.MNIST(root='../dataset/mnist/',
                             train=True,
                             download=True,
                             transform=transform
                             )
train_loader = DataLoader(train_dataset,
                        shuffle=True,
                        batch_size=batch_size
                        )
test_dataset = datasets.MNIST(root='../dataset/mnist/',
                             train=False,
                             download=True,
                             transform=transform)
test_loader = DataLoader(test_dataset,
                       shuffle=False,
                       batch_size=batch_size
                       )

class Net(torch.nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.l1=torch.nn.Linear(784,512)
        self.l2=torch.nn.Linear(512,256)
        self.l3=torch.nn.Linear(256,128)
        self.l4=torch.nn.Linear(128,64)
        self.l5=torch.nn.Linear(64,10)

    def forward(self, x):
        x=x.view(-1, 784) #-1就是自动获取mini_batch
        x=F.relu(self.l1(x))
        x=F.relu(self.l2(x))
        x=F.relu(self.l3(x))
        x=F.relu(self.l4(x))
        return self.l5(x)#最后一层不做激活，不进行非线性变化

model=Net()

#构建损失函数和优化器
criterion = torch.nn.CrossEntropyLoss()
optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.5)

#定义训练函数
def train(epoch):
    running_loss=0.0
    for batch_idx,data in enumerate(train_loader,0):
        #获得一个批次得数据和标签
        inputs,target=data
        optimizer.zero_grad()

        #forward+backward+update
        #获得模型得预测值（64，10）
        outputs=model(inputs)
        #交叉熵代价函数outputs(64,10),rarget(64)
        loss=criterion(outputs,target)
        loss.backward()
        optimizer.step()

        running_loss +=loss.item()
        if batch_idx % 300==299:
            print('[%d,%5d] loss: %.3f' % (epoch+1,batch_idx+1,running_loss/300))
            running_loss=0.0

accept_list=[]
epoch_list=[]
def test1():
    correct=0
    total=0
    #不用计算梯度的变量放在里面
    with torch.no_grad():
        #拿样本做预测
        for data in test_loader:
            images,labels=data
            outputs=model(images)
            #返回两个 一个是每一行最大值是多少，一个是最大值下标多少
            _,predicted=torch.max(outputs.data,dim=1)
            total+=labels.size(0)
            correct +=(predicted==labels).sum().item()
    accept_list.append(100*correct /total)
    print('accuracy on test set : %d %%' %(100*correct /total))


if __name__=='__main__':
    for epoch in range(10):
        train(epoch)
        test1()
        epoch_list.append(epoch)
plt.plot(epoch_list,accept_list)
plt.xlabel("epoch")
plt.rcParams['font.sans-serif'] = ['SimHei'] # 设置中文字体
plt.ylabel("成功率 单位为 %")
plt.show()

---

运行结果：

Files already downloaded
Files already downloaded
[1,  300] loss: 2.236
[1,  600] loss: 1.099
[1,  900] loss: 0.414
accuracy on test set : 90 %
[2,  300] loss: 0.315
[2,  600] loss: 0.268
[2,  900] loss: 0.233
accuracy on test set : 92 %
[3,  300] loss: 0.189
[3,  600] loss: 0.179
[3,  900] loss: 0.167
accuracy on test set : 95 %
[4,  300] loss: 0.138
[4,  600] loss: 0.134
[4,  900] loss: 0.120
accuracy on test set : 96 %
[5,  300] loss: 0.098
[5,  600] loss: 0.103
[5,  900] loss: 0.102
accuracy on test set : 96 %
[6,  300] loss: 0.079
[6,  600] loss: 0.081
[6,  900] loss: 0.081
accuracy on test set : 97 %
[7,  300] loss: 0.070
[7,  600] loss: 0.061
[7,  900] loss: 0.067
accuracy on test set : 97 %
[8,  300] loss: 0.048
[8,  600] loss: 0.059
[8,  900] loss: 0.054
accuracy on test set : 97 %
[9,  300] loss: 0.044
[9,  600] loss: 0.040
[9,  900] loss: 0.045
accuracy on test set : 97 %
[10,  300] loss: 0.033
[10,  600] loss: 0.033
[10,  900] loss: 0.036
accuracy on test set : 97 %

进程已结束，退出代码为 0

---

运行效果：

 

---

完结，如有错误敬请指正，感谢！