逻辑回归小例子

最新推荐文章于 2024-01-07 18:02:57 发布

1100dp

最新推荐文章于 2024-01-07 18:02:57 发布

阅读量521

点赞数 1

分类专栏：机器学习 PyTorch入门文章标签：逻辑回归机器学习深度学习

本文链接：https://blog.csdn.net/qq_44901656/article/details/126072385

版权

PyTorch入门同时被 2 个专栏收录

15 篇文章 0 订阅

订阅专栏

机器学习

14 篇文章 1 订阅

订阅专栏

这篇博客介绍了线性回归和逻辑回归两种常见的机器学习模型。线性回归用于预测连续数值，通过最小化均方误差损失函数进行训练。而逻辑回归则用于二分类任务，采用sigmoid激活函数和二分类交叉熵损失函数。文中还展示了在MNIST数据集上使用PyTorch实现逻辑回归的代码示例，并绘制了模型预测概率曲线。

摘要由CSDN通过智能技术生成

线性回归：
仿射模型： $\hat{y}=x*\omega+b$
损失函数： $loss=(\hat{y}-y)^2=(x*\omega-y)^2$
分类任务：MNIST数据集
The database of handwritten digits

Training set: 60,000 examples,
Test set: 10,000 examples.
Classes: 10

import torchvision
train_set = torchvision.datasets.MNIST(root='../dataset/mnist', train=True, download=True)
test_set = torchvision.datasets.MNIST(root='../dataset/mnist', train=False, download=True)

在这里插入图片描述
在分类任务中，模型的输出是输入精确到某一类别的概率。
如何分类？
采用分类函数 $\sigma(x)=\frac{1}{1+e^(-x)}$

逻辑回归：

二分类任务的损失函数：
$loss=-(ylog\hat{y}+(1-y)log(1-\hat{y}))$
二分类任务的小批量损失函数：
$loss=-\frac{1}{N}\sum_{n=1}^Ny_nlog\hat{y}_n+(1-y_n)log(1-\hat{y}_n）$
在这里插入图片描述

import torch


#数据
x_data = torch.Tensor([[1.0],[2.0],[3.0]])
y_data = torch.Tensor([[0],[0],[1]])

#使用类设计模型
class LogisticRegressionModel(torch.nn.Module):
    def __init__(self):
        super(LogisticRegressionModel,self).__init__()
        self.linear = torch.nn.Linear(1,1)
    
    def forward(self,x):
        y_pred = torch.sigmoid(self.linear(x))
        return y_pred

model = LogisticRegressionModel()

criterion = torch.nn.BCELoss(size_average=False,reduction='sum')#损失
optimizer = torch.optim.SGD(model.parameters(),lr=0.7)#优化器

for epoch in range(100):#训练
    y_pred = model(x_data)
    loss = criterion(y_pred,y_data)
    print(epoch,loss.item())
    
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

结果：
在这里插入图片描述

import numpy as np
import matplotlib.pyplot as plt

x = np.linspace(0,10,200)
x_t = torch.Tensor(x).view((200,1))
y_t = model(x_t)
y = y_t.data.numpy()
plt.plot(x,y)
plt.plot([0,10],[0.5,0.5],c='r')
plt.xlabel('Hours')
plt.ylabel('Probability')
plt.grid()
plt.show()