机器学习算法原理详解（一）-----逻辑回归

最新推荐文章于 2024-05-29 16:42:20 发布
最新推荐文章于 2024-05-29 16:42:20 发布
阅读量1k 收藏 3
点赞数 1
分类专栏： 机器学习 文章标签： 机器学习 逻辑回归
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_27575895/article/details/101539534
版权

开一个系列来记录自己在学习机器学习算法原理中的心得与感悟，首先从逻辑回归开始写起吧。

       逻辑回归在维基百科的定义是Logistic回归是一种统计模型，其基本形式是使用Logistic函数来对二元因变量建模，尽管存在许多更复杂的扩展。在回归分析中，逻辑回归(或logit回归)是对逻辑模型(一种二元回归形式)的参数进行估计。在数学上，二元逻辑模型有一个因变量，它有两个可能的值，比如通过/失败，它由一个指标变量表示。逻辑回归在问题类别中属于分类问题。而且常用在二分类问题中，当然也可以扩展到多分类问题上，二分类问题中的logistic函数使用的是sigmoid函数，sigmoid函数的公式表达如下： 

   f(u)=\frac{1}{1+e^{-u}}

但是逻辑回归的实质是概率问题，可以分为条件概率来做处理。在这里先写一下贝叶斯公式

P\left ( B|A \right )=\frac{P\left ( A|B \right )P\left ( B \right )}{P\left ( A \right )}

P\left ( B|A \right )被称为后验概率 叫做在在A发生的情况下B也会发生的概率，P\left ( A|B \right ) 被称为条件概率，P\left ( B \right )被称为先验概率

那么对应到分类问题中就变成了

回到sigmoid函数上，sigmoid函数可将一个实数映射到（0,1）的区间，sigmoid函数曲线图为

可以看到横坐标大于0.5的时候，sigmoid函数为正数，小于为负数，所以在实际的操作中通过判断你和曲线值y是大于0.5还是小于0.5来做分界线

sigmoid函数中的u实际是类别值函数，假设该分类问题中特征变量有x1,x2,.....xn，Y为类别值，那么可以得到

u=f({x_{1},x_{2}...x_{n}}) =a_{1}x_{1}+a_{2}x_{2}+.......a_{n}x_{n}+b ,其中u就是Y的实际值。

所以在实际计算中只需要找到这个方程式，去计算参数a_{1},a_{2},....a_{n} ,b,得到决策分类函数。

那么逻辑回归同时也可以应用到多分类问题中，在多分类问题中，采用one vs all的方法，比如是三分类问题有A,B,C 三类，首先把A当做一类，余下的B,C当做一类训练一个分类器，然后将B当做一列，然后将A,C当做一类训练一个分类器；最后将C当做一类，将A,B当做一类训练一个分类器，从而实现多分类问题的识别。

 

 

幸运的Alina
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
逻辑回归
weixin_30298497的博客
08-29 885
Infi-chu: http://www.cnblogs.com/Infi-chu/ 逻辑回归（Logistic Regression）是机器学习中的一种分类模型，逻辑回归是一种分类算法，虽然名字中带有回归，但是它与回归之间有一定的联系。由于算法的简单和高效，在实际中应用非常广泛。 一、简介 1.应用场景 广告点击率 是否为垃圾邮件 是否患病 金融诈骗 虚假账号 ...
逻辑回归算法学习笔记
Clittle225的博客
08-31 675
逻辑回归算法是一种用于解决二分类问题的监督学习算法。它的核心思想是通过建立一个逻辑回归模型，将输入特征与对应的概率联系起来，然后使用梯度下降等优化算法，对模型参数进行迭代优化，使得模型能够对新的样本进行分类预测。
机器学习算法（一）：逻辑回归模型（Logistic Regression, LR）
热门推荐
weixin_39910711的博客
08-14 10万+
线性分类器：模型是参数的线性函数，分类平面是（超）平面；非线性分类器：模型分界面可以是曲面或者超平面的组合。 典型的线性分类器有感知机，LDA，逻辑斯特回归，SVM（线性核）； 典型的非线性分类器有朴素贝叶斯（有文章说这个本质是线性的，http://dataunion.org/12344.html），kNN，决策树，SVM（非线性核） https://www.cnblogs.com/sparkw...
逻辑回归原理及应用
最新发布
fjstjsjg的博客
05-29 936
逻辑回归（Logistic Regression）是一种常用的机器学习算法，用于解决分类问题。尽管名字中带有"回归"一词，但逻辑回归实际上是一种分类算法，用于预测实例属于某个类别的概率。在本篇博客中，我们将深入探讨逻辑回归算法的原理、实现和应用。逻辑回归是一种用于解决二分类问题的线性模型。与线性回归不同，逻辑回归不是直接预测数值，而是预测某个实例属于某个类别的概率。通常情况下，逻辑回归的输出值在0到1之间，可以看作是对正类别的预测概率。
传统机器学习(二)逻辑回归算法(一)
qq_44665283的博客
04-18 806
传统机器学习(二)逻辑回归算法原理，python手动实现以及sklearn工具包使用详解
逻辑回归算法原理简介
qq_43660987的博客
06-10 3745
1，逻辑回归简介 逻辑回归完成分类任务，是经典的二分类算法（也可以解决多分类问题），机器学习算法一般选择先逻辑回归（优先选择）再用复杂的，逻辑回归的决策边界可以是非线性的（高阶）。可以通过参数对结果进行评估。 2，Sigmoid 函数 表达式： 图像： 自变量取值为任意实数，值域[0,1]。将任意的输入映射到了[0,1]区间，回顾在线性回归中可以得到一个预测值，可再将该值映射到Sigmoid ...
java 实现逻辑回归，附带训练集，详解回归算法-LR
01-07
逻辑回归属于监督学习算法，其目标是根据一组自变量x来预测一个二元因变量y。 逻辑回归的核心思想在于它不是一个线性回归模型，而是通过将线性函数的结果输入到Sigmoid函数中，转化为0到1之间的概率值。Sigmoid函数...
Python-词向量短文本分类包shorttext
08-11
在"shorttext"中，你可以选择不同的算法进行文本分类，如K近邻（K-Nearest Neighbor, KNN）、支持向量机（Support Vector Machine, SVM）、随机森林（Random Forest）、逻辑回归（Logistic Regression）等。...
09-python-theano-循环-线性回归-逻辑回归
02-13
通过这三个部分的学习，你可以掌握如何利用Theano进行基础的机器学习任务，包括数值计算、模型训练以及处理复杂的循环结构。这对于进一步深入研究深度学习，尤其是那些依赖于张量操作和循环的模型（如LSTM或GRU）来...
Lee-ML-HW0.zip
08-22
由于标签为 "Lee-ML"，我们可以推测这与机器学习的基本原理和方法有关，比如线性回归、逻辑回归或者朴素贝叶斯等基础算法。 文件列表中的 "HW0" 可能包含多个子文件或子文件夹，这些可能包括： 1. **数据文件**：...
Andrew机器学习课件1-4
09-21
课程涵盖了从基本概念到高级技术的广泛内容，旨在帮助学生理解并掌握机器学习的核心原理。以下是四份课件的主要知识点详解： **第一讲：机器学习简介** 在这一讲中，吴恩达教授首先介绍了机器学习的定义和类型。他...
最全面讲解的 逻辑回归算法
08-15
这是搜狗做资深的机器学习工程师2014年自己写的逻辑回归，认识很到位，算法很清晰，实际运用讲解的很棒
机器学习算法详解
04-12
机器学习算法详解▪ 一、线性回归 ◦ 1、代价函数 ◦ 2、梯度下降算法 ◦ 3、均值归一化 ◦ 4、最终运行结果 ◦ 5、使用scikit-learn库中的线性模型实现 ▪ 二、逻辑回归 ◦ 1、代价函数 ◦ 2、梯度 ◦ 3、正则化 ◦ 4、S型函数（即） ◦ 5、映射为多项式 ◦ 6、使用的优化方法 ◦ 7、运行结果 ◦ 8、使用scikit-learn库中的逻辑回归模型实现 ▪ 逻辑回归_手写数字识别_OneVsAll ◦ 1、随机显示100个数字 ◦ 2、OneVsAll ◦ 3、手写数字识别 ◦ 4、预测 ◦ 5、运行结果 ◦ 6、使用scikit-learn库中的逻辑回归模型实现 ▪ 三、BP神经网络 ◦ 1、神经网络model ◦ 2、代价函数 ◦ 3、正则化 ◦ 4、反向传播BP ◦ 5、BP可以求梯度的原因 ◦ 6、梯度检查 ◦ 7、权重的随机初始化 ◦ 8、预测 ◦ 9、输出结果 ▪ 四、SVM支持向量机 ◦ 1、代价函数 ◦ 2、Large Margin ◦ 3、SVM Kernel（核函数） ◦ 4、使用中的模型代码 ◦ 5、运行结果 ▪ 五、K-Means聚类算法 ◦ 1、聚类过程 ◦ 2、目标函数 ◦ 3、聚类中心的选择 ◦ 4、聚类个数K的选择 ◦ 5、应用——图片压缩 ◦ 6、使用scikit-learn库中的线性模型实现聚类 ◦ 7、运行结果 ▪ 六、PCA主成分分析（降维） ◦ 1、用处 ◦ 2、2D-->1D，nD-->kD ◦ 3、主成分分析PCA与线性回归的区别 ◦ 4、PCA降维过程 ◦ 5、数据恢复 ◦ 6、主成分个数的选择（即要降的维度） ◦ 7、使用建议 ◦ 8、运行结果 ◦ 9、使用scikit-learn库中的PCA实现降维 ▪ 七、异常检测 Anomaly Detection ◦ 1、高斯分布（正态分布） ◦ 2、异常检测算法 ◦ 3、评价的好坏，以及的选取 ◦ 4、选择使用什么样的feature（单元高斯分布） ◦ 5、多元高斯分布 ◦ 6、单元和多元高斯分布特点 ◦ 7、程序运行结果
逻辑回归算法梳理（从理论到示例）
cuijiekun的博客
03-29 2万+
逻辑回归算法的原理
线性回归、逻辑回归算法原理推导及python代码实现（没有直接调sklearn库）
wys的博客
04-02 2236
线性回归算法 线性回归算法是机器学习中最基本的一个算法，但是该算法的思想、原理相当重要。本文将详细从原理上（用似然函数）讲解线性回归算法 从一个例子引入：想象一下，假如我要去银行贷款，银行会问我两个问题，一是工资、二是年龄。根据我的回答，银行将计算出能贷多少钱给我。 目标：预测银行会贷给我多少钱（贷款额度），标签；是一个具体的值，属于回归问题。 ...
第二章 协同过滤算法实战与优化
09-29
本章讲解推荐系统中基于用户的协同过滤与基于商品的协同过滤两种算法，以及对应的优化思路。
【算法工程师面试题40】基于逻辑回归算法实现电影推荐
说文科技，做有态度的研究。
07-20 3082
介绍逻辑回归，同时基于逻辑回归完成电影算法推荐
二元逻辑回归(logistic regression)
weixin_44992737的博客
09-23 1万+
逻辑回归(logistic regression)
任务2·逻辑回归算法整理
MY578719543的博客
03-03 613
逻辑回归与线性回归 联系 逻辑回归与线性回归都属于广义线性回归模型。 逻辑回归往往是解决二元0/1分类问题的，之所以叫“回归”因为其本质还是线性回归。可以认为逻辑回归的输入是线性回归的输出，将逻辑斯蒂函数（Sigmoid曲线）作用于线性回归的输出得到输出结果。 线性回归y = ax + b, 其中a和b是待求参数； 逻辑回归p = S(ax + b), 其中a和b是待求参数， S是逻辑斯蒂函数，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值