机器学习系列4 Logistic regression

最新推荐文章于 2024-08-13 08:33:06 发布
最新推荐文章于 2024-08-13 08:33:06 发布
阅读量168 收藏
点赞数
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41722370/article/details/86642933
版权

逻辑回归简单说来就是在线性回归基础上加上sigmoid函数，但你真的理解它么？

一、为什么要用sigmoid？

之前在ABB研究院实习时，老板让我做一个简单的齿轮箱故障分类，当时的数据只有两种故障也比较简单，因此我提议使用逻辑回归，最终也完成的很好。但由于是在研究院，老板是个博士大佬很喜欢钻研问题于是就问我为什么加上个S函数，而且为什么明明叫回归却解决分类问题？我记得当时我的回答是：因为S函数会将输出归到0~1之间从而能代表样本为正例的概率，若概率大于0.5就判为正，反之判为负。但我知道这个解释是无法说服他人和自己的。

首先sigmoid的使用就是为了方便能用线性模型的结果来表示后验概率，为什么sigmoid就能表示后验概率呢，证明过程如下：

假设所给样本集仅有两个分类1、0，根据贝叶斯公式

p(y=1|x) = \frac{p(x|y=1)p(y=1)}{p(x|y=1)p(y=1)+p(x|y=0)p(y=0)}

假设上式可写为sigmoid函数形式

p(y=1|x) =\frac{1}{1+exp(-z)}=\delta (z)

z = ln\frac{p(x|y=1)p(y=1)}{p(x|y=0)p(y=0)}=ln\frac{p(y=1|x)}{p(y=0|x)}

由sigmoid函数可得到下式，该式被称为对数几率

z = ln\frac{\delta (z)}{1-\delta (z)}

这样我们就能看出，sigmoid的输出可以近似表示样本的概率预测，而我们的逻辑回归算法就是用线性回归的预测结果来拟合真实标记的对数几率。

二、公式推导

 

 

 

 

 

 

有节操的正明君
关注
专栏目录
机器学习实验二logistic Regression
01-17
**机器学习实验二：逻辑回归 Logistic Regression** 在本次实验中，我们将深入探讨机器学习领域中的一个重要算法——逻辑回归（Logistic Regression）。逻辑回归虽然名字中含有“回归”二字，但实际上它是一种广泛...
【机器学习】基于Logistic Regression模型实现手写数字识别.ipynb
11-12
基于Logistic Regression模型实现手写数字识别
Day4--Logistic Regression
abc_138的博客
10-26 297
第四天主要是讲逻辑回归问题，今天只是有一张图
从零开始-Machine Learning学习笔记(4)-Logistic Regression(逻辑回归模型)
kabuto_hui的博客
03-21 725
从零开始-Machine Learning学习笔记(4)-Logistic Regression(逻辑回归模型/对数几率回归模型) 1.逻辑回归简介 ​ 在之前，我们使用线性回归(Linear Regression)来进行回归学习，使用的数据主要是有标签的数据，而且这个标签与我们的feature（特征）具有一定的线性关系。但是如果我们遇到一种二分类问题，标签一般为y=0/1，这个时候就...
机器学习笔记 5 —— Logistic Regression
我有两颗糖
08-07 1233
1. Logistic Regression 由于买的 iPad 到了,于是开始用 good notes 写笔记了: Logistic Regression & Perceptron Logistic 回归模型的定义 最大似然估计估计模型参数 总结 2. Logistic 回归的 Python 实现 下面使用梯度迭代求模型的参数,原理如下: ...
机器学习系列-Logistic Regression(1)
天马行空，隐姓埋名
06-20 8229
机器学习 这是记录自学的过程，目前的理论基础就是：大学高等数学+线性代数+概率论。编程基础：C/C++,python在观看机器学习实战这本书，慢慢介入。相信有读过以上三门课的人完全可以开始自学机器学习了，当然我上面这三门课学的一般，所以你只知道有这么一个公式或名词，不懂可以百度之深究之。在写这篇文章的时候作者机器学习还没学完，故文章中的错误还请不吝指出。再次声明，系列文章只是分享学习过程，学习点
机器学习——​逻辑回归（Logistic Regression）​
weixin_74731967的博客
05-28 3474
在机器学习中，分类问题是一种常见的任务，目标是根据输入特征将数据点分配到不同的类别中。为了实现分类，我们需要训练一个分类器，该分类器能够根据输入数据的特征进行预测。逻辑回归（LogisticRegression）是一种常用的分类算法，尤其适用于二分类问题。逻辑回归的核心思想是通过对数几率函数（logistic function）将线性回归的输出映射到概率空间，从而实现分类。注意：逻辑回归虽然名字中有回归二字，但是它不是回归算法，而是分类算法。梯度下降法（Gradient Descent）
机器学习： Logistic Regression--python
Matrix-11
11-18 1011
今天介绍 logistic regression，虽然里面有 regression 这个词，但是这其实是一种分类的方法，这个分类方法输出的也是 0-1 之间的一个数，可以看成是一种概率输出，这个分类器利用一种 BP 迭代和随机梯度下降的方法来训练求得参数和建立分类模型。首先来看看这个分类器用到的主要函数，即 sigmoid 函数：y=σ(x)=11+e−x y = \sigma (x) = \fr
李宏毅2020机器学习 【学习笔记】 P11Logistic Regression
weixin_51330846的博客
08-31 713
【李宏毅2020机器学习深度学习(完整版)国语】 https://www.bilibili.com/video/BV1JE411g7XF/?
机器学习之逻辑回归（Logistic Regression）
fulk6667g78o8的专栏
11-11 2万+
在公众号「python风控模型」里回复关键字：学习资料，免费领取。 python风控模型 持牌照金融公司模型专家，教学主页 https://ke.qq.com/teacher/231469242?tuin=dcbf0ba
机器学习-逻辑回归(LogisticRegression)详解
yuxj的博客
08-27 1万+
逻辑回归详解 1.什么是逻辑回归 逻辑回归是监督学习，主要解决二分类问题。 逻辑回归虽然有回归字样，但是它是一种被用来解决分类的模型，为什么叫逻辑回归是因为它是利用回归的思想去解决了分类的问题。 逻辑回归和线性回归都是一种广义的线性模型，只不过逻辑回归的因变量(Y)服从伯努利分布(离散分布)，而线性回归的因变量(Y)满足的是高斯分布(正态分布)，因此他们两个是很相似的(PS：线性回归是拟合一条直线，而逻辑回归是根据sigmoid将线性变成非线性，所以去掉sigmoid，他们一样的...
【机器学习sklearn实战】逻辑回归（Logistic regression）
最新发布
跟着大数据和AI去旅行
08-13 692
【代码】【机器学习sklearn实战】逻辑回归（Logistic regression）
ex2-logistic regression_逻辑回归_机器学习_
10-02
在机器学习领域，逻辑回归是一种基础且重要的监督学习方法。 **工作原理** 逻辑回归的核心在于将线性回归的结果通过一个非线性的函数——sigmoid函数（S型曲线）转换，从而得到一个介于0到1之间的概率值。这个概率...
LogisticRegression 参数详解
09-21
在Python的机器学习库scikit-learn（简称sklearn）中，`LogisticRegression` 是一个非常重要的分类算法，它被广泛应用于二分类或多分类问题中。本篇文章将详细介绍sklearn库中的`LogisticRegression` 模型的参数含义...
机器学习算法之使用Python实现LogisticRegression算法.zip
04-20
Logistic Regression，逻辑回归，是机器学习中一种广泛使用的分类算法。它虽然名字中含有“回归”，但实际上主要用于解决二分类或多分类问题。在Python中，我们可以使用Scikit-Learn库来轻松实现Logistic Regression...
机器学习系列2 BP神经网络＋代码实现
热门推荐
zhengmingzhang的博客
11-04 4万+
神经网络简单的说，就是用一种层次化的方式将一堆简单的函数在顶层堆叠在一起，形成一个复杂的非线性函数，以此表达输入与输出之间的关系。 本文结构：               1.介绍构成神经网络的基本单元：神经元               2.介绍三层神经网络的实现过程：前向传播、损失函数的计算、反向传播、梯度下降算法，并使用python分步实现   一、神经网络的基本单元：神经元  ...
机器学习系列5. CART决策树的编程实现（西瓜书）
zhengmingzhang的博客
01-31 1582
为了加深对决策树的理解并且练习递归，手撕了一个CART决策树，使用的数据是西瓜书中表4.2 目前还没有加上剪枝操作，而且只能处理离散属性，日后会完善 https://github.com/zhengmingzhang/CART...
机器学习系列1 PCA（主成分分析法）
zhengmingzhang的博客
10-04 625
1.PCA的应用    1.降维    2.去除数据相关性，对数据特征进行抽取 2.主成分选择原则   (1)主成分是原来变量的线性组合;   (2)各主成分之间互不相关;   (3)主成分分析的实质就是找到一个正交变换,即有正交阵U,使得一个
机器学习系列3 Batch Normalization总结
zhengmingzhang的博客
12-27 363
   前段时间面试腾讯优图计算机视觉实习，被问到是否理解Batch Normalization，虽然自己能明白它是做了什么有什么作用，但是总觉得没有理解透彻，于是翻出论文阅读了一番并编程实现，下面算是记录一下吧。论文地址：https://arxiv.org/abs/1502.03167 一、BN解决了什么样的问题   从论文题目我们就可以看出BN是解决“Internal Covariate S...
机器学习：Logistic Regression深度解析
"这篇文章主要介绍了Logistic Regression模型在人口预测中的应用，并深入探讨了该模型的起源、原理、解法、正则化、与其他模型的关系以及并行化处理。" Logistic Regression，又称为逻辑回归，是一种广泛应用于分类...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值