初级算法班（2） ——逻辑回归

最新推荐文章于 2024-09-28 07:11:11 发布
最新推荐文章于 2024-09-28 07:11:11 发布
阅读量335 收藏
点赞数
分类专栏： 机器学习初级算法 文章标签： 逻辑回归
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/orient928/article/details/88958304
版权
本文深入探讨逻辑回归，从模型定义、损失函数的推导和优化算法讲起，阐述其与线性回归的联系和区别，包括在分类问题上的优势和不足，以及正则化和模型评估方法，如L1、L2正则化和混淆矩阵、ROC曲线等。此外，还介绍了处理样本不均衡问题的策略。
摘要由CSDN通过智能技术生成

写在前面：由于昨天实验室毕业聚餐，和老师师兄们喝酒耽误了一天，所以没有太多的时间仔细梳理一下逻辑回归，这里就把我以前的笔记 po 出来，由于时间不够，所以公式就没有自己手打，全是图片，等后期有时间后再来优化这篇博客，按自己的理解梳理整个算法，并把公式全部打出来。

文章目录

逻辑回归

和前面线性回归一样，从模型，代价函数和优化算法三个方面来描述逻辑回归算法

1. 逻辑回归模型

逻辑回归从本质上来说就是在线性回归的外面套了一个sigmoid函数，使样本能够映射到[0,1]之间，即为
线性在这里插入图片描述
在二维坐标中的表现是这样的
在这里插入图片描述

2. 逻辑回归损失函数

2.1 推导

逻辑回归不是连续的，所以线性回归损失函数定义的经验就用不上了。不过我们仍然可以用最大似然法来推导出我们的损失函数。逻辑回归的代价函数为交叉熵函数：
在这里插入图片描述
其中：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.2 优化

在这里插入图片描述

3. 优化算法

梯度下降法
在这里插入图片描述

4. 逻辑回归和线性回归的联系和区别

4.1 联系

（1）都属于广义线性回归模型
（2）

最低0.47元/天 解锁文章
orient928
关注
专栏目录
逻辑回归（Logistic Regression）
qq_45032868的博客
05-20 251
逻辑回归（Logistic Regression）
吴恩达深度学习笔记（7）--逻辑回归的代价函数（Cost Function）
Harpoon_fly的博客
11-23 1565
逻辑回归的代价函数（Logistic Regression Cost Function） 在上一篇文章中，我们讲了逻辑回归模型，这里，我们讲逻辑回归的代价函数（也翻译作成本函数）。 吴恩达让我转达大家：这一篇有很多公式，做好准备，睁大眼睛！代价函数很重要！ 为什么需要代价函数： 为了训练逻辑回归模型的参数 w和参数b我们，需要一个代价函数，通过训练代价函数来得到参数w和参数b 。先看一下逻辑回归...
机器学习sklearn中常见的线性模型参数释义
随遇而安_小强的博客
07-05 7674
from sklearn.linear_model import LinearRegression LinearRegression(fit_intercept=True,normalize=False,copy_X=True,n_jobs=1) ''' 参数含义： 1.fit_intercept:布尔值，指定是否需要计算线性回归中的截距，即b值。如果为False, 那么不计算b值。 2.nor...
【机器学习】之逻辑回归
qq_38423499的博客
04-05 1327
作者：Robin Chen Motto：Talk with the shortest sentence. 一、逻辑回归用来干什么？ （一）逻辑回归并不是回归的，是用来分类的，而分类是有监督学习的一种。 比如：预测客户A是男的，还是女的；或者明天下雨，或者不下雨。 二、逻辑回归的适用范围 （一）逻辑回归只适用于 【二】分类，不适合多分类。 （二）数据要求：自变量可以是：离散型和连续型变量，因变量是离...
初级算法梳理(三）——逻辑回归
Moby97的博客
01-13 222
理论部分 1.逻辑回归与线性回归的联系与区别 2.模型建立：逻辑回归原理、逻辑回归模型 3. 学习策略：逻辑回归损失函数、推导及优化 4.算法求解：批量梯度下降 5.正则化与模型评估指标 6.逻辑回归的优缺点 7.样本不均衡问题 8.sklearn参数详解 import numpy as np import pandas as pd import matplotlib.pyplot as plt ...
逻辑回归算法梳理-2
jdjd321的博客
04-01 692
1、逻辑回归与线性回归的联系与区别 2、 逻辑回归的原理 3、逻辑回归损失函数推导及优化 4、 正则化与模型评估指标 5、逻辑回归的优缺点 6、样本不均衡问题解决办法 7、sklearn参数 ...
【深度之眼】三：分类 —— 算法实战 —— o2o 优惠券使用预测比赛【天池】
InitialHeart2021的博客
01-01 402
o2o 优惠券使用预测比赛_初级
机器学习初级篇9——特征归一化
zhenteliu的博客
11-10 480
机器学习初级篇9——特征归一化特征归一化1.归一化与标准化的概念2.为什么需要对数值类型的特征做归一化？3.归一化的优点？1.加快了梯度下降求最优解的速度2.提升模型精度4.什么情况下必须进行归一化？5.怎么进行标准化/归一化？ 为了消除数据特征之间的量纲影响，我们需要对特征进行归一化处理，使得不同指标之间具有可比性。 例如，分析一个人的身高和体重对健康的影响 ， 如果使用米（ m) 和干克（ k...
逻辑回归梳理
weixin_43975572的博客
03-03 530
逻辑回归和线性回归的区别 1）线性回归要求变量服从正态分布，logistic回归对变量分布没有要求。 2）线性回归要求因变量是连续性数值变量，而logistic回归要求因变量是分类型变量。 3）线性回归要求自变量和因变量呈线性关系，而logistic回归不要求自变量和因变量呈线性关系 4）logistic回归是分析因变量取某个值的概率与自变量的关系，而线性回归是直接分析因变量与自变量的关系 可以认...
逻辑回归算法梳理
Persdre的博客
04-01 1540
** 逻辑回归算法梳理 ** 逻辑回归和线性回归的联系和区别 逻辑回归和线性回归都属于广义线性回归模型。二者的区别如下： 1.线性回归要求变量服从正态分布，逻辑回归对变量分布没有要求。 2.线性回归要求因变量是连续性数值变量，而逻辑回归要求因变量是分类型变量。 3.线性回归要求自变量和因变量呈线性关系，而逻辑回归不要求。 4.线性回归直接分析自变量和因变量的关系，逻辑回归是分析因变量去某个值的概率...
Logistic回归分析时几个需要注意的问题
热门推荐
oucpowerman的博客
12-28 2万+
1、关于样本含量的问题 logistic回归分析中，到底样本量多大才算够，这一直是个令许多人困惑的问题。尽管有的人从理论角度提出了logistic回归分析中的样本含量估计，但从使用角度来看多数并不现实。直到现在，这一问题尚无广为接受的答案。根据国外一些大牛的看法，如果样本量小于100，logistic回归的最大似然估计可能有一定的风险，如果大于500则显得比较充足。当然，样本大小还依赖于变量
机器学习之逻辑回归（Logistic Regression）
fulk6667g78o8的专栏
11-11 2万+
在公众号「python风控模型」里回复关键字：学习资料，免费领取。 python风控模型 持牌照金融公司模型专家，教学主页 https://ke.qq.com/teacher/231469242?tuin=dcbf0ba
逻辑回归算法
jll2014210714的博客
03-03 495
逻辑回归与线性回归的联系与区别 联系: 逻辑回归在过程中也应用了直线进行了边界的划分, 可以说是使用回归算法的分类方法 区别:最大的区别就在于他们的因变量不同, 线性回归模型就是预测一个连续变量(如降水量，价格等)。而逻辑回归则是解决分类问题, 在分类问题中，预测属于某类的概率.一般解决二分类问题, 逻辑回归的输出是[0,1]区间. 2逻辑回归的原理 (1)找一个合适的预测函数,用它能解决二分...
（李航统计学习方法）逻辑回归
Rudy95的博客
06-13 1572
逻辑回归模型在面试的过程中，最常问到的就是公式的推导过程。所以，手撕公式，很重要。 首先介绍的是逻辑斯蒂分布： X是连续随机变量，X服从逻辑斯蒂分布。逻辑斯蒂分布的分布函数与密度函数如下： 二项逻辑斯蒂回归模型 它是一种分类模型，由条件概率P（Y|X）表示，形式为参数化的 逻辑斯蒂分布。 其中，exp为以e为底的指数函数，x∈Rn是输入，y∈{0,1}输出，w，b是模型参数——w是权值向量，b...
机器学习实践中的 7 种常见错误
栖客
11-09 630
转载自：http://blog.jobbole.com/70684/ 编注：本文作者是 Codecademy 的分析主管 Cheng-Tao Chu，其专长是数据挖掘和机器学习，之前在 Google、LinkedIn和Square就职。 统计建模非常像工程学。 在工程学中，有多种构建键-值存储系统的方式，每个设计都会构造一组不同的关于使用模式的假设集合。在统计建模中，有很
2024年研究生数学建模“华为杯”E题——肘部法则、k-means聚类、目标检测(python)、ARIMA、逻辑回归、混淆矩阵（附：目标检测代码）
一个电子信息嵌入式的学习笔记
09-26 821
2024年研究生数学建模“华为杯”E题——肘部法则、k-means聚类、目标检测(python)、ARIMA、逻辑回归、混淆矩阵（附：目标检测代码）
逻辑回归（下）： Sigmoid 函数的发展历史
最新发布
本博客纯属个人网络笔记，如对阁下有用，甚喜；否则，关掉即可，不喜勿喷。专心写代码，不做键盘侠！
09-28 523
18世纪，随着工业革命的深入；美洲的发现，以及随之而来的大移民和北美人口迅猛增长……到了19世纪，为了研究人口增长以及化学催化反应与时间的关系，人们发明了逻辑函数。罗马不是一天建成的，Sigmoid 函数也不是一天形成的。它的前身，则在18世纪就已经出现了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值