PyTorch第六讲逻辑斯蒂回归

风の街道

已于 2023-07-20 21:34:10 修改

阅读量68

点赞数 1

分类专栏： Pytorch 深度学习实践文章标签： pytorch 回归人工智能

于 2023-07-20 21:33:09 首次发布

本文链接：https://blog.csdn.net/m0_61713426/article/details/131840367

版权

Pytorch 深度学习实践专栏收录该内容

3 篇文章 0 订阅

订阅专栏

逻辑斯蒂回归

做的是分类的任务

逻辑斯蒂回归公式

$\sigma(x)=\frac{1}{1+e^{-x}}$
请添加图片描述

逻辑斯蒂函数∈[0,1]，是饱和函数

其他的饱和函数

请添加图片描述

具体过程

$\widehat{y}$ 部分

请添加图片描述

将原来的 $\widehat{y}$ 输入到逻辑斯蒂方程中，即 $\widehat{y}=\frac{1}{1+e^{-(x*\omega+b)}}$

loss部分

请添加图片描述

原来的是求数轴上的距离，希望距离越近越好，而现在是概率分布问题，希望我们模拟出来的概论分布尽可能接近实际的概率分布
求两个概论分布之间的相似度用交叉熵(cross-entropy)，即 $\sum_{x_{i}}{P_D}_{1}(x_{i})\ln P_{D_{2}}(x_{i})$ ,越大说明分布约接近
此处用到的是二分情况下的交叉熵BCELoss： $loss=-(y\log\widehat{y}+(1-y)\log(1-\widehat{y}))$ ，这里加一个负号，转换为loss越小，分布越接近

获取minist数据集

import torchvision

# 下载数据集
train_set=torchvision.datasets.MNIST(root='./dataset/minist',train=True,download=True)
test_set=torchvision.datasets.MNIST(root='./dataset/minist',train=False,download=True)

其他数据集同理

引入逻辑斯蒂激活函数的代码

import matplotlib.pyplot as plt
import numpy as np
import torch
import torch.nn.functional as F  #逻辑斯蒂激活函数sigmoid在nn(new network)的functional里

x_data = torch.tensor([[1.], [2.], [3.]])
y_data = torch.tensor([[0.], [0.], [1.]])


class LogisticRegressionModel(torch.nn.Module):
    def __init__(self):
        super(LogisticRegressionModel, self).__init__()
        self.linear = torch.nn.Linear(1, 1)  #Linear：线性层（全连接层）第一个参数为input_size,第二个参数为output_size

    def forward(self, x):
        y_pred = F.sigmoid(self.linear(x))  #sigmoid：逻辑斯蒂激活函数，把全连接函数的输出再输入这个激活函数里面，算得预测值
        return y_pred


model = LogisticRegressionModel()

criterion = torch.nn.BCELoss(size_average=False)  ##采用二分类交叉熵计算损失值
optimizer = torch.optim.Adam(model.parameters(), lr=0.01)  #这里不再采用随机反向传播（SGD）而采用效率更高的Adam优化器，加快收敛

for epoch in range(1000):
    y_pred = model(x_data)
    loss = criterion(y_pred, y_data)
    print(epoch, loss.item())

    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

x = np.linspace(0, 10, 200)  #linspace(0,10,200)意思是从0开始到10，取分割点值并返回为array类型，要求分出200组
x_t = torch.Tensor(x).view((200, 1))  #view(200,1)表示把原矩阵重构为200行1列矩阵
y_t = model(x_t)
y = y_t.data.numpy()  #Tensor.numpy()将Tensor转化为ndarray
plt.plot(x, y)
plt.plot([0, 10], [0.5, 0.5], c='r')  #在x∈[0-10]的范围内,y=0.5处画一条红线
plt.xlabel('Hours')
plt.ylabel('Probability of Pass')
plt.grid(alpha=0.4)
plt.show()