Logistic 回归算法原理及python代码实现（二分类模型）

最新推荐文章于 2024-05-01 11:17:52 发布
最新推荐文章于 2024-05-01 11:17:52 发布
阅读量3.8k 收藏 44
点赞数 7
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43395639/article/details/104418658
版权
使用场景

通常面临的二分类问题可能是：一封邮件是否为垃圾邮件；那么可以抽象成数字标签：

  • y=0 表示负类->垃圾邮件
  • y=1 表示正类->正常邮件
模型的提出

这要求数学模型的结果取值要在[0,1]范围内，通常线性回归 h ( θ ) h(\theta) h(θ)的取值范围是实数域，很容易取到 h ( θ ) > 1 h(\theta)>1 h(θ)>1或 h ( θ ) < 0 h(\theta)<0 h(θ)<0。需要一个函数将 h ( θ ) h(\theta) h(θ)的取值范围控制在[0,1]范围内。

sigmoid函数就具有这个良好性质：
在这里插入图片描述
将线性模型 w T x w^{^{T}}x wTx代入sigmoid函数，所以新的假设函数 h ( w T x ) = 1 1 + e − w T x h (w ^{^{T}}x)=\frac{1}{1+e^{-w ^{^{T}}x}} h(wTx)=1+e−wTx1​的取值范围是[0,1]。

  • h ( w T x ) h (w ^{^{T}}x) h(wTx)>0.5,数据被分为1类。
  • h ( w T x ) h (w^{^{T}}x) h(wTx)<0.5,数据被分为0类。
  • h ( w T x ) h (w ^{^{T}}x) h(wTx)可以看成是分类的概率有多大。
    这里的 w T w ^{^{T}} wT是每个特征的回归系数构成的向量， w T x = w 0 x 0 + w 1 x 1 + . . . w n x n w ^{^{T}}x=w_{0}x_{0}+w_{1}x_{1}+...w_{n}x_{n} wTx=w0​x0​+w1​x1​+...wn​xn​其中 x x x即为输入数据，这里共有n个特征，我们的目的是找到每个特征的最佳 w w w参数。

给定数据x，令其分为1类的概率 P ( Y = 1 ∣ x ) = h ( w T x ) = 1 1 + e − w T x

最低0.47元/天 解锁文章
Schnappi_z
关注
  • 7
    点赞
  • 踩
  • 44
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
数学建模——Logistic Regression逻辑回归算法（二分类及多分类的Python代码实现）
涵盖了计算机专业基础知识、数学建模相关实践、复杂网络论文研究、LeetCode算法刷题经验、C语言开发经验、前端Vue、React框架开发实战相关知识
08-09 7138
1.概述 逻辑回归（Logistic Regression）是一种用于解决监督学习（Supervised Learning）问题的学习算法，一般用于二分类（Binary Classification）问题中，用逻辑回归训练得到一个分类器，对输入的数据进行判断其类型，并进行概率的估计；逻辑回归的目的，是使训练数据的标签值与预测出来的值之间的误差最小化。 逻辑回归本质上是一个线性回归模型，因为除去sigmoid映射函数关系，其他的步骤都是线性回归的。可以说，逻辑回归是以线性回归为理论支持。区别在于线性模型无
用Transformer模型实现简单二分类问题
qq_63908157的博客
01-22 3231
第一次自行用Transformer模型实现二分类，过程很曲折，不过最后还好成功实现了。各位大佬们如果有更好的模型实现思路，欢迎在评论区指教!
2024年Python最新分类模型评估的方法及Python实现_python人群识别二分类模型(1)
2401_84689394的博客
05-01 470
【代码】2024年Python最新分类模型评估的方法及Python实现_python人群识别二分类模型(1)
逻辑斯蒂回归（二分类算法）理论+Python代码实现
qq_46426207的博客
03-11 5491
对逻辑斯蒂算法原理进行剖析并结合鸢尾花数据集和马疝病数据集进行Python实现，其中鸢尾花数据集采用sklearn库中的逻辑回归模型进行训练和评估，马疝病数据集采用机器学习实战中的函数方法从零实现。
逻辑回归（Logistic回归又名对数几率回归）原理及python代码实现
weixin_71894495的博客
08-04 3240
本文通过讲解逻辑回归(对数几率回归)从回归模型到分类模型的演变过程以及损失函数的推导过程，然后利用梯度下降编写逻辑回归方法，最后通过调用sklearn封装的逻辑回归方法，分别演示了模型正则化和多分类的超参数使用。
逻辑(logistic)回归算法原理及两种代码实现
weixin_46943790的博客
02-11 4244
①简单介绍了逻辑回归的原理 ②介绍了两种代码实现方法
Logistic Regression 逻辑回归数学原理、python代码实现、实际应用
weixin_43950899的博客
11-05 852
逻辑回归数据原理、代码实现、实际应用
机器学习之 Logistic 回归算法及其 Python 实现
CK的博客
12-15 2755
机器学习之 Logistic回归算法及其 Python实现 前言：机器学习分类算法初步 感知器 自适应线性神经元及其学习的收敛性 逻辑斯蒂( Logistic)回归 基本模型介绍 通过代价函数获得权重 ogistic I的 Python实现 实现方式一：不使用机器学习第三方库 实现方式二：使用 sklearn模块 实现方式三：使用 Pytorch模块 参考博文
python实现 logistic 回归 二分类算法 （通俗讲解逻辑回归本质与由来）
weixin_44360866的博客
07-11 2324
通俗讲解logistic回归原理。 python实现logistic回归过程。
逻辑回归二分类算法python_监督学习——logistic进行二分类（python）
weixin_39976153的博客
11-29 1183
线性回归及sgd/bgd的介绍：训练数据形式： （第一列代表x1，第二列代表 x2，第三列代表 数据标签 用 0/1表示）训练函数形式： y = sigmod（w0+w1*x1+w2*x2）通过训练函数就能够得到参数列向量θ([θ0,θ1,…θn]^T)，当输入样本列向量x([x0,x1,…,xn])，那么我们对样本x分类就可以通过上述公式计算出一个概率，如...
机器学习原理之logistic回归算法与代码实现 .rar_logistic回归_原理与实现_回归_机器学习；_深度学习
09-23
描述中的“深度学习之六：机器学习原理之logistic回归算法与代码实现.docx”文件可能包含了一个详细的Logistic回归教程，涵盖了理论解释和实际编程实现。这个文档可能讲解了如何用Python的Scikit-learn库或者其他...
Logistic回归算法的Python代码和数据样本
01-28
逻辑回归（Logistic Regression）是一种广泛应用的分类算法，尽管它的名字中含有“回归”二字，但其实它主要用于解决二分类问题。在实际应用中，逻辑回归通过拟合一个Sigmoid函数，将线性回归的结果转换为0到1之间...
Logistic回归算法
11-28
此外，AUC-ROC曲线也是衡量二分类模型性能的重要工具。 8. **模型调优** 如果模型性能不理想，可以尝试调整模型参数，或者进行特征工程，比如添加交互项、去除冗余特征、特征选择等。 9. **Python实现** 在...
逻辑回归,逻辑回归算法原理,Python
09-10
**逻辑回归** 逻辑回归是一种广泛应用于分类问题的统计学习方法，尤其在二分类问题中表现突出。虽然它的名字中带有“回归”二字，但实际上...`Logistic.py`可能是实现逻辑回归的自定义代码，包括模型训练和预测功能。
逻辑回归python代码实现 ，逻辑回归的介绍和算法实现
02-03
### 逻辑回归Python代码实现与算法详解 #### 一、逻辑回归简介 逻辑回归是一种广泛应用于机器学习领域的统计分析方法，主要用于解决分类问题，尤其是在二分类任务中表现尤为出色。尽管其名称中含有“回归”二字，...
基于Springboot和Vue的图书借还管理系统源码 图书借还管理系统代码（高分毕设）
最新发布
07-28
图书借还管理系统源码（高分毕设），个人经导师指导并认可通过的98分毕业设计项目，主要针对计算机相关专业的正在做毕设的学生和需要项目实战练习的学习者。也可作为课程设计、期末大作业。包含全部项目源码[代码]、该项目可以直接作为毕设使用。项目技术栈：前端是vue，后端是springboot，项目代码都经过严格调试，代码没有任何bug！ 系统源码（高分毕设），个人经导师指导并认可通过的98分毕业设计项目，主要针对计算机相关专业的正在做毕设的学生和需要项目实战练习的学习者。也可作为课程设计、期末大作业。包含全部项目源码[代码]、该项目可以直接作为毕设使用。项目技术栈：前端是vue，后端是springboot，项目代码都经过严格调试，代码没有任何bug！ 系统源码（高分毕设），个人经导师指导并认可通过的98分毕业设计项目，主要针对计算机相关专业的正在做毕设的学生和需要项目实战练习的学习者。也可作为课程设计、期末大作业。包含全部项目源码[代码]、该项目可以直接作为毕设使用。项目技术栈：前端是vue，后端是springboot，项目代码都经过严格调试，代码没有任何bug！
C语言内存管理：静态与动态分配的较量
07-28
C语言是一种通用的编程语言，由丹尼斯·里奇（Dennis Ritchie）在20世纪70年代早期于美国电话电报公司（AT&T）的贝尔实验室开发。C语言以其高效性、灵活性和可移植性而闻名，它是一种过程式编程语言，提供了对底层硬件的直接访问能力。 C语言的特点包括： 1. **简洁高效**：C语言的语法简洁，执行效率高，适合编写系统软件。 2. **接近硬件**：C语言提供了对内存地址和位操作的直接控制，使其非常适合硬件级编程。 3. **可移植性**：C语言编写的程序可以在不同的操作系统和硬件平台上编译和运行，具有很好的可移植性。 4. **丰富的库支持**：C语言拥有大量的标准库，如标准输入输出库（stdio.h）、数学库（math.h）等。 5. **结构化编程**：C语言支持结构化编程，允许使用循环、条件判断和函数等控制结构。 6. **指针**：C语言的指针功能强大，可以操作内存地址，实现复杂的数据结构和算法。 7. **编译型语言**：C语言是一种编译型语言，源代码需要通过编译器转换成机器码才能运行。 C语言广泛应用于操作系统（如Unix和Linux）、嵌入式系统、高性能
通讯协议规范-命令包格式
07-28
提供一份通讯协议规范，包含命令包、格式等，在上下位机调试的时候可参考该文档，制定对应的通讯协议。
逻辑回归logistic原理（python代码实现）
09-13
逻辑回归是一种用于分类问题的机器学习算法，其原理是基于线性回归的思想，通过使用逻辑函数（也称为sigmoid函数）将预测结果映射到[0,1]之间的概率值。以下是一个使用Python实现逻辑回归的示例代码： ```python import numpy as np import matplotlib.pyplot as plt # 定义sigmoid函数 def sigmoid(z): return 1 / (1 + np.exp(-z)) # 定义损失函数 def loss(h, y): return (-y * np.log(h) - (1 - y) * np.log(1 - h)).mean() # 定义逻辑回归模型 class LogisticRegression: def __init__(self, lr=0.01, num_iter=100000, fit_intercept=True, verbose=False): self.lr = lr self.num_iter = num_iter self.fit_intercept = fit_intercept self.verbose = verbose def add_intercept(self, X): intercept = np.ones((X.shape[0], 1)) return np.concatenate((intercept, X), axis=1) def fit(self, X, y): if self.fit_intercept: X = self.add_intercept(X) # 初始化权重参数 self.theta = np.zeros(X.shape[1]) for i in range(self.num_iter): z = np.dot(X, self.theta) h = sigmoid(z) gradient = np.dot(X.T, (h - y)) / y.size self.theta -= self.lr * gradient if(self.verbose == True and i % 10000 == 0): z = np.dot(X, self.theta) h = sigmoid(z) print(f'loss: {loss(h, y)}') def predict_prob(self, X): if self.fit_intercept: X = self.add_intercept(X) return sigmoid(np.dot(X, self.theta)) def predict(self, X, threshold=0.5): return self.predict_prob(X) >= threshold # 示例：使用逻辑回归对二分类数据进行训练和预测 from sklearn.datasets import make_classification from sklearn.model_selection import train_test_split # 生成二分类数据集 X, y = make_classification(n_samples=100, n_features=2, n_informative=2, n_redundant=0, random_state=42) # 将数据集划分为训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # 创建逻辑回归模型并进行训练 model = LogisticRegression(lr=0.1, num_iter=300000) model.fit(X_train, y_train) # 在测试集上进行预测 y_pred = model.predict(X_test) # 计算准确率 accuracy = (y_pred == y_test).mean() print(f'Accuracy: {accuracy}') ``` 这段代码首先定义了sigmoid函数和损失函数，然后实现了一个LogisticRegression类，其中包含了fit方法用于训练模型，以及predict_prob和predict方法用于预测。最后，示例代码使用sklearn库生成了一个二分类数据集，将数据集划分为训练集和测试集，并使用逻辑回归模型进行训练和预测。最后计算了预测的准确率。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值