数据挖掘：模型选择——逻辑回归

最新推荐文章于 2024-11-21 16:37:27 发布

AvenueCyy

最新推荐文章于 2024-11-21 16:37:27 发布

阅读量2k

点赞数 4

分类专栏：数据挖掘文章标签：逻辑回归机器学习 python

本文链接：https://blog.csdn.net/AvenueCyy/article/details/105079612

版权

这篇博客详细介绍了逻辑回归在模型选择中的应用，包括损失函数、正则化、梯度下降法以及数据处理。重点阐述了逻辑回归的似然函数、极大似然估计、L1和L2正则化的作用，以及如何使用梯度下降求解最优参数。同时，讨论了逻辑回归对分类数据和数值数据的处理策略。

摘要由CSDN通过智能技术生成

逻辑回归

之前介绍的线性回归主要用于回归预测，而逻辑回归主要用于分类任务。逻辑回归是在线性回归的基础上，加上了Sigmoid函数。
线性回归的模型是：
在这里插入图片描述
也可以写作：

如果需要预测的值是0-1分布的，那么可以引入一个函数，将线性方程z变为g(z)，让g(z)的值在(0,1)之间，当g(z)的值接近0时，样本的类别判为类别0；当g(z)的值接近1时，样本的类别判为类别1.
这个函数即为Sigmoid函数。其值域在(0,1)之间，定义域是负无穷到正无穷。
在这里插入图片描述

引入Sigmoid函数后，得到了逻辑回归模型的一般形式：

此时，y的取值都在[0,1]之间，因此y和1-y相加必然为1。如果我们令y除以1-y可以得到形似几率(odds)的y/(1-y) ，可看作类别为1的与类别为0的概率比。线性回归的值也就是对数几率。
在这里插入图片描述
y(x)的形似几率取对数的本质其实就是我们的线性回归z，我们实际上是在对线性回归模型的预测结果取对数几率，来让其结果无限逼近0和1。
线性回归的任务：通过求解参数构建预测函数z，并希望预测函数z能够尽量拟合数据，
逻辑回归的核心任务也是类似的：求解参数来构建一个能够尽量拟合数据的预测函数y(x)，并通过向预测函数中输入特征矩阵来获取相应的标签值y。
y(x)的并非像贝叶斯，输出的是某一类别的概率，它只是(0,1)之间的值，人们近似认为它是概率。一般以0.5为分界点。
在这里插入图片描述