机器学习(14)逻辑回归(理论)

本文详细介绍了逻辑回归在广告点击、垃圾邮件识别等场景的应用,深入剖析了其原理,包括线性回归与sigmoid函数的结合,以及对数似然损失函数的计算。通过实例演示了模型的计算过程,并提供了sklearn API的使用示例。
摘要由CSDN通过智能技术生成

目录

一、逻辑回归应用场景

二、逻辑回归原理

 三、损失

四、类别划分

1、真实值属于该类别(y=1)

2、真实值不属于该类别(y=0)

3、完整损失函数

4、逻辑回归计算过程(重要)

 1、先线性回归,得到结果

2、逻辑回归映射

3、带入计算

API


一、逻辑回归应用场景

广告点击率(是否会被点击)

是否为垃圾邮件

是否患病

金融诈骗

虚假账号

二、逻辑回归原理

输入:

 (逻辑回归的输入就是线性回归的输出)

输出:

 回归的结果输入到sigmoid函数中。

 输出结果:[0,1]区间中的一个概率值,默认为0.5。

 

函数计算出的结果如果大于阈值(0.5),即y轴右边:属于该类别。

函数计算出的结果如果小于阈值(0.5),即y轴左边:不属于该类别。

(阈值可以自己设定)

总的模型: 

 三、损失

逻辑回归的损失:对数似然损失

公式:

四、类别划分

1、真实值属于该类别(y=1)

(输入越接近1,则越损失越小,结果越准确) 

2、真实值不属于该类别(y=0)

3、完整损失函数

4、逻辑回归计算过程(重要)

 1、先线性回归,得到结果

 

 

 

2、逻辑回归映射

 

 (阈值可以自己确定,默认0.5)

3、带入计算

 h(x):线性回归的计算结果

y:真实结果

最终的值越小越好,分类更可靠。

API

sklearn.linear_model.LogisticRegression

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
逻辑回归是一种常用的机器学习算法,用于解决二分类问题。它基于线性回归模型,通过对输出进行逻辑函数(如sigmoid函数)的转换,将输出限制在0和1之间,从而实现对样本的分类。 以下是一些关于逻辑回归理论的习题及其答案: 1. 什么是逻辑回归? 答:逻辑回归是一种用于解决二分类问题的机器学习算法。它通过对线性回归模型的输出进行逻辑函数转换,将输出限制在0和1之间,从而实现对样本的分类。 2. 逻辑回归的损失函数是什么? 答:逻辑回归使用的损失函数是对数损失函数(log loss),也称为交叉熵损失函数。它衡量了模型预测结果与真实标签之间的差异。 3. 逻辑回归的优化算法有哪些? 答:逻辑回归的优化算法包括梯度下降法(包括批量梯度下降、随机梯度下降和小批量梯度下降)、牛顿法和拟牛顿法(如L-BFGS)等。 4. 逻辑回归如何处理多分类问题? 答:逻辑回归本身是二分类算法,但可以通过一对多(One-vs-Rest)或一对一(One-vs-One)的方式来处理多分类问题。一对多方法将每个类别与其他类别进行二分类,得到多个二分类模型;一对一方法则将每两个类别之间进行二分类,得到多个二分类模型。 5. 逻辑回归有哪些优点和缺点? 答:逻辑回归的优点包括模型简单、计算效率高、可解释性强等;缺点包括对特征的线性关系假设较强、容易受到异常值的影响等。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

_(*^▽^*)_

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值