监督学习算法——逻辑回归算法

最新推荐文章于 2025-10-12 07:30:00 发布
最新推荐文章于 2025-10-12 07:30:00 发布
阅读量655 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Taiiiii/article/details/105880092
这篇博客深入探讨了逻辑回归的工作原理，包括Sigmoid函数、损失函数、决策边界和正则项。介绍了如何使用sklearn库实现逻辑回归，并讨论了解决多分类问题的策略，如OvR和OvO。同时，还展示了手写实现简单逻辑回归算法的过程。

文章目录

工作原理

Sigmoid 函数

在这里插入图片描述

公式：
σ ( t ) = 1 1 + e − t \sigma(t)=\frac{1}{1+e^{-t}} σ(t)=1+e−t1​
p ^ = σ ( θ T ⋅ x b ) = 1 1 + e − θ T ⋅ x b \hat{p}=\sigma\left(\theta^{T} \cdot x_{b}\right)=\frac{1}{1+e^{-\theta^{T} \cdot x_{b}}} p^​=σ(θT⋅xb​)=1+e−θT⋅xb​1​

y ^ = { 1 , p ^ ≥ 0.5 θ T ⋅ x b ≥ 0 0 , p ^ < 0.5 θ T ⋅ x b < 0 \hat{y}=\left\{\begin{array}{lll} 1, & \hat{p} \geq 0.5 & \theta^{T} \cdot x_{b} \geq 0 \\ 0, & \hat{p}<0.5 & \theta^{T} \cdot x_{b}<0 \end{array}\right. y^​={ 1,0,​p^​≥0.5p^​<0.5​θ

最低0.47元/天 解锁文章
深入详解人工智能机器学习算法——逻辑回归算法
编程技术探索者，分享C/C++、C#、Java、数据库等开发经验，聚焦实战技巧与AI兴趣，助力编程爱好者成长。
12-10 4234
深入详解人工智能机器学习算法——逻辑回归算法
*Python*机器学习算法——逻辑回归（Logistic Regression）
m0_57916248的博客
09-10 1472
在评估方面，准确率、混淆矩阵和 AUC-ROC 曲线提供了全面的评价指标，帮助我们更好地理解模型的表现。而在实际应用中，逻辑回归被广泛用于信用评分、医疗诊断和市场营销等多个领域，展示了其强大的实用价值。本文将简单介绍逻辑回归的基本原理、模型构建、损失函数与优化方法、参数调整、模型评估以及应用场景。混淆矩阵：提供了更详细的分类结果信息，包括真阳性（TP）、假阳性（FP）、真阴性（TN）和假阴性（FN）。使用梯度下降法更新参数: 根据损失函数对参数的梯度来调整参数值，以最小化损失函数。
算法知识点——（3）监督学习——逻辑回归与线性回归
Lynqwest的博客
09-10 1361
目录 一、线性回归 1. 原理推导 1.1算法概述 1.2误差项分析 1.3似然函数 1.4目标函数推导 1.5线性回归求解 2. 特点 3. 广义线性回归 二、逻辑回归 1. 原理推导 1.1 Logistic 分布 1.2 逻辑回归分类任务 1.3 似然函数 1.4 应用梯度下降求参数 1.5 参数更新 2. 特点 3. 多分类逻辑回归 4. 极...
监督学习--逻辑回归
Amy9_Miss的博客
08-04 951
逻辑回归（Logistic Regression，LR）是分类常用的算法。逻辑回归在西瓜书中又被称为对数几率回归。进行分类的主要思想是：根据现有数据对分类边界线建立回归公式，以此进行分类。训练分类器时的做法就是寻找最佳拟合参数，使用的是最优化算法。 适合数据类型：数值型 优点：计算代价不高，易于理解和实现 缺点：容易欠拟合，分类精度可能不高 原理 正负类区分 正负类没有明确区分，但是按经验来说 负类（0）：一般表示没有什么，比如没有癌症，非垃圾邮件 正类（1）：一般表示具有我们要寻找的东西，比如 有癌症，
机器学习模型| 监督学习| 逻辑回归算法
weixin_38168696的博客
09-02 190
逻辑斯蒂回归 　　线性回归的问题 —— 怎样判断肿瘤是否恶性？ 线性回归健壮性不够，一旦有噪声，立刻“投降” 逻辑斯蒂回归 —— 分类问题 Sigmoid函数（压缩函数） 0-1之间阶跃函数的平滑 -- 解决阶跃函数非线性度不够的问题 redu线性整流函数，比阶跃...
机器学习—有监督学习—逻辑回归(推导及代码实现)
柳成荫
07-23 3460
1、逻辑回归简述 逻辑回归算法是目前使用最为广泛的一种学习算法，用于解决分类问题。与线性回归算法一样，也是监督学习算法。不用线性回归的原因是，分类问题，y的取值为0或1，如果使用线性回归，那么线性回归模型的输出值可能远大于1，或者远小于0，会导致代价函数很大。 在分类问题中，我们尝试预测的是结果是否属于某一个类（例如正确或错误）。分类问题的例子有：判断一封电子邮件是否是垃圾邮件；判断一次金融交易是...
【ML算法】监督学习——逻辑回归
roguesir的博客
03-19 1919
前言 挺久没更新博客了，满是愧疚，最近一直在鼓捣数据，感觉没什么可写的，于是翻出之前没有完成的机器学习算法，继续完善～ 概述 逻辑回归（Logistic Regression，LR），虽然叫回归，但实际上是一种分类算法，主要处理二分类问题，LR模型简单，但应用非常广，很多公司都是应用LR解决工业界问题，因为简单，模型生成后，处理速度快，可以满足工业需求。 逻辑回归的主要用途： （1）解决...
第三章机器学习算法与实践中的监督学习算法——逻辑回归（一）
最新发布
I＇m a winner的博客
10-12 1864
摘要：逻辑回归是一种重要的监督学习分类算法，文章系统介绍了其理论基础和实践应用。在理论部分，详细讲解了二分类和多分类逻辑回归的数学模型、Sigmoid/Softmax函数、损失函数及参数优化方法。实践部分通过抑郁症诊断案例，演示了数据预处理、特征选择、模型训练与评估的完整流程，包括准确率、召回率、F1分数等指标计算和ROC曲线绘制。文章特别强调了逻辑回归在医疗护理领域的应用价值，如抑郁症诊断和癌症患者死亡风险预测等场景。
第三章机器学习算法与实践中的监督学习算法——逻辑回归（二）
I＇m a winner的博客
10-12 970
摘要：本文介绍了多分类逻辑回归在抑郁症严重程度分类中的应用实践。通过模拟HAMD评分数据构建三类抑郁等级分类模型，详细展示了数据准备、模型构建（使用Softmax函数）、评估（准确率、分类报告）及决策边界可视化的完整流程。同时深入讲解了分类模型的核心评估指标：准确率、精确率、召回率和F1分数，特别强调了它们在医疗场景中的实际意义——精确率关注误诊风险，召回率关注漏诊风险。案例采用Python实现，包含数据标准化、多分类逻辑回归训练和三维度评估（无抑郁/轻度/中重度），为医疗AI应用提供了可复现的技术方案。（
监督学习之Logistic regression——Andrew Ng机器学习笔记（二）
A_cainiao_A
12-22 3582
内容提要这篇博客的主要内容有： - 介绍欠拟合和过拟合的概念 - 从概率的角度解释上一篇博客中评价函数J(θ)J(\theta)为什么用最小二乘法 - 局部加权线性回归（Locally Weighted Linear Regression (LWR)） - 逻辑回归（Logistic regression） - 感知器学习算法（The perceptron learning algorit
监督学习-逻辑回归模型
Civitasv
03-05 520
模型目的 此模型用于解决监督学习中的分类问题。现实生活中分类问题有很多，例如垃圾邮件的分类、学生成绩层次的划分、恶性肿瘤和良性肿瘤的划分等等。为了解决这类问题，我们建立了逻辑回归模型(logistic regression model)。 二元分类 我们从最简单的二元分类开始，首先作以下规定： : 表示训练样本个数 ：输入变量 ：输出变量， 0:Nagative 1:Positive...
关于逻辑回归算法
大志的博客
05-02 904
逻辑回归属于监督学习算法中，分类算法的一种，主要应用在二分类场景中，也可应用在多分类场景。 概述 简单点说，Logistic回归模型就是将线性回归的结果输入一个Sigmoid函数，将回归值映射到0~1区间，表示输出的类别“1”的概率。 模型 线性回归的表达式如下： yi=wxi+by_i=wx_i+byi​=wxi​+b Sigmoid函数： σ(z)=11+e−z\sigma(z)=\frac{...
有监督算法
南宫轩翰的博客
05-08 1712
1.逻辑回归
机器学习笔记3 －－ 逻辑回归 Logistic Regression
明日世界
07-13 397
问题域分类回归的预测结果时连续结果，如何实现分类的？逻辑函数在二维坐标中的表现形式为S型曲线，所以逻辑函数又称Sigmod函数。由图可以看出预测值的范围是［0，1］区间内的实数。当y&gt;0.5时，x归类为真；当y&lt;＝0.5时，x归类为假。从而实现类别划分。LR还可以解决多分类问题：n个类别需要构造n个分类模型，第n个模型区分是不是属于第n类。每个输入都被n个模型同时预测，如果只有一个模型...
机器学习算法逻辑整理---逻辑回归算法
学习机器学习
10-07 355
机器学习有监督算法
m0_71971148的博客
09-13 1123
监督学习主要包括和两种类型。分类是一种监督学习的任务，它的目标是将输入数据分到不同的类别中。常见的分类算法包括决策树、朴素贝叶斯、支持向量机、逻辑回归等。回归是一种监督学习的任务，它的目标是预测一个连续的数值输出。常见的回归算法包括线性回归、多项式回归、岭回归、Lasso回归等。
逻辑回归算法
pandas.read_csv()参数详解
11-21 734
LogisticRegression 建立模型 假设样本是（x, y）， y 是0或1，表示负类或者正类。x 是m维样本的特征向量，那么这个样本属于正类，也就是y = 1的概率可以通过下面逻辑函数来表示： p(y=1∣x;θ)=σ（θTx）=1/（1+exp(θTx)）p( y = 1 | x;θ) = σ（θ^Tx）=1/（1+exp(θ^Tx)）p(y=1∣x;θ)=σ（θTx）=1/（1+e...
逻辑回归和非监督学习
Swayzzu的博客
09-19 1229
模型的保存与加载 安装joblib：conda install joblib 保存：joblib.dump(rf, 'test.pkl') 加载：estimator = joblib.load 加载后直接将测试集代入即可进行预测。 逻辑回归 分类算法 线性回归的式子作为逻辑回归的输入。适用场景：二分类问题 逻辑回归也能得出概率值。逻辑回归是解决二分类问题的利器 逻辑回归的输入： sigmoid函数： 根据以上函数图像，函数的输出值均在0-1之间。可将其视为概率值 ..
【分类算法】逻辑回归
turkeym4的博客
12-22 1118
逻辑回归是一个监督学习中的分类算法。他的核心思想就是通过Sigmoid函数的引入，使一条线性回归的线变成一个二分类问题。所以对于Sigmoid函数的理解和整个推导式逻辑回归的核心。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值