1.分类任务的数据集
① The MNIST Dataset:handwritten digits
- Training set: 60,000 examples,
- Test set: 10,000 examples.
- Classes: 10
-
import torchvision train_set = torchvision.datasets.MNIST(root='../dataset/mnist', train=True, download=True) test_set = torchvision.datasets.MNIST(root='../dataset/mnist', train=False, download=True) # root:数据集存在哪个位置(如果已经下载下来,指定下载下来的文件夹) train:要训练集还是测试集 #download:是否要从网上下载
② The CIFAR-10 dataset:32×32的彩色小图片
- Training set: 50,000 examples,
- Test set: 10,000 examples.
- Classes: 10(飞机、车、鸟、猫、鹿、狗、青蛙、马、船、卡车)
import torchvision train_set = torchvision.datasets.CIFAR10(root='../dataset/mnist', train=True, download=True) test_set = torchvision.datasets.CIFAR10(root='../dataset/mnist', train=False, download=True)
2.分类问题
-
分类问题,与之前学习的线性回归问题不同,输出的是分类的概率值,在训练过程中,计算它属于每一个分类的所有概率,其中概率最大的那一种分类,就是我们要的输出结果。
-
现在我们将之前的学习问题,修改成分类问题,x表示学习时间,y表示通过率,0表示不通过,1表示通过,这也叫做”二分类问题“
-
3.逻辑斯蒂回归
在之前我们的学习中, 最终预测的是一个实数,而针对分类问题,我们要把
输出的实数映射成一个0到1的概率(
[0,1] ),这个映射的过程就是本节课所学的逻辑斯蒂回归,逻辑斯蒂回归利用公式
,将实数域的数值映射到 [0,1]范围内的概率。逻辑斯蒂函数的图像如下所示:
计算概率的方式:将原本计算的实数作为变量输入到逻辑斯蒂函数中,输出的就是映射之后的概率值。
4.Sigmid Founction(逻辑斯蒂回归函数)
Sigmid Founction需要满一下三个条件:
- 函数值有极限
- 是单调增函数
- 是饱和函数
Sigmid Founction中最具有典型性的函数就是逻辑斯蒂函数。其他的一些Sigmid Founction如下图所示:
4.1 模型的改变
之前学习的函数与逻辑斯蒂回归函数的计算图的区别:可以看出逻辑斯蒂回归函数在计算出之后,还多了一步——通过使用逻辑斯蒂回归函数,把实数值映射到[0,1]的区间中,再输出
。
注:( 一般就代表逻辑斯蒂回归)
4.2 损失函数的改变(BCE Loss)
之前学习的函数的损失:计算的是两个实数值的差值,是数轴上的距离。
逻辑斯蒂回归函数的损失:输出的是一个分布,需要计算的是两类分布之间的差异,在统计学中的计算方法有——KL散度,cross-entropy(交叉熵)等,这里我们使用的是cross-entropy(交叉熵)方法。
交叉熵:
这个公式的值表示两个分布之间的差异的大小,值越大,差异越小。在本例中,在公式前加了负号,目的是为了符合我们的平时思维,使Loss越小,差异越小。
在本例中,是二分类问题, y 的取值只能是0或1,的取值只能
,Loss函数如下:
对于BCE Loss:
- 当
时,
,此时
,因为
,
函数是单调递增函数,此时
越大,也就是越接近1,
的值越小,差异越小;
- 当
时,
,此时
,因为
,
函数是单调递增函数,此时
越小,也就是越接近0,
的值越小,差异越小;
-
= P(calss = 1) 1-
= P(calss = 0)
如果 y = 0,则表示 y = P(calss = 1) =0,1 - y = P(calss = 0) = 1
最终我们计算的总和公式如下:
4.3 代码的改变
- def __init__没有改变:原因是,
(逻辑斯蒂回归函数)是一个没有参数的函数,不需要在构造函数中进行初始化,直接调用就可以;
- 数据集的改变:因为是二分类问题,
的取值只能是0或1;
- 模型的改变:由于PyTorch版本更新,不用再导入torch.nn.functional包,可以直接使用包中的Sigmoid函数进行训练,如下图;
- 损失函数的改变:不再使用MSE损失函数,改为使用BCE损失函数,由于PyTorch版本更新,将 size_average=False 更改为 reduction='sum'
代码如下:
import torch
import matplotlib.pyplot as plt
import numpy as np
#准备数据集
x_data = torch.Tensor([[1.0],[2.0],[3.0]])
y_data = torch.Tensor([[0],[0],[1]])
#设计模型
class LogisticRegressionModel(torch.nn.Module):
def __init__(self):
super(LogisticRegressionModel,self).__init__()
self.liner = torch.nn.Linear(1,1)
def forward(self,x):
y_pred = torch.sigmoid(self.liner(x))
return y_pred
model = LogisticRegressionModel()
#构造损失函数和优化器
criterion = torch.nn.BCELoss(reduction='sum')
optimizer = torch.optim.SGD(model.parameters(),lr=0.01)
#训练周期(前馈,反馈,更新)
for epoch in range(1000):
y_pred = model(x_data)
loss = criterion(y_pred,y_data)
print(epoch,loss.item())
optimizer.zero_grad()
loss.backward()
optimizer.step()
# 对model进行测试
x = np.linspace(0,10,200) #0-10之间取200个点
x_t = torch.Tensor(x).view(200,1) #x变成200行 * 1列 的矩阵
y_t = model(x_t) #张量x_t送到模型里,得到y_t
y = y_t.data.numpy() #调用.numpy()取出数据y
plt.plot(x, y)
plt.plot([0, 10], [0.5, 0.5], c='r')
plt.xlabel('Hours')
plt.ylabel('Probability of Pass')
plt.grid()
plt.show()
参考PyTorch深度学习——逻辑斯蒂回归(分类问题)(B站刘二大人P6学习笔记)_Learning_AI的博客-CSDN博客