Logistic回归分类模型

模型背景

逻辑回归(Logistic Regression)是一种用于解决二分类(0 or 1)问题的机器学习方法,用于估计某种事物的可能性。比如某用户购买某商品的可能性,某病人患有某种疾病的可能性,以及某广告被用户点击的可能性等。 注意,这里用的是“可能性”,而非数学上的“概率”,logisitc回归的结果并非数学定义中的概率值,不可以直接当做概率值来用。该结果往往用于和其他特征值加权求和,而非直接相乘。

与线性回归的区别

逻辑回归假设因变量 y 服从伯努利分布,而线性回归假设因变量 y 服从高斯分布。可以说,逻辑回归是以线性回归为理论支持的,但是逻辑回归通过Sigmoid函数引入了非线性因素,因此可以轻松处理0/1分类问题。而在线性回归模型,因为其预测的值可以超越[0,1]的范围,并不适合解决这样的问题。
逻辑回归并不是回归而是分类,是一种定性的分析,线性回归用来预测数值,是定量的,不适合用在分类上。

在这里插入图片描述在上如图中,如果我们用线性回归去拟合,如果得到预测值大于1很难去解释。所以我们在接下来的要研究的算法就叫做逻辑回归算法,这个算法的性质是:它的输出值永远在0到 1 之间。

逻辑模型分类

  1. 二元逻辑分类。只有两种分类结果。
  2. 多元无序分类。多种分类结果。
  3. 多元有序分类。分类有等级排序。

模型构建

我们将因变量(dependent variable)可能属于的两个类分别称为负向类(negative class)和正向类(positive class)。我们的分类器的输出值在0和1之间,因此,我们希望想出一个满足某个性质的假设函数,这个性质是它的预测值要在0和1之间。

一个单调可微的函数来供我们使用,于是便找到了Sigmoid function来替代。去除Sigmoid映射函数的话,逻辑回归算法就是一个线性回归。
g ( z ) = 1 1 + e − z g(z) = \dfrac{1}{1 + e^{-z}} g(z)=1+ez1

图像如下图所示:

在这里插入图片描述

假设函数(Hypothesis function)

在这里插入图片描述
其中 x x x 是我们的输入, θ \theta θ 为我们要求取的参数。
这个假设函数就是我们的在假设条件下 y = 1 y=1 y=1的可能性(不是概率)。表示为:
在这里插入图片描述

决策边界

决策边界,也称为决策面,是用于在N维空间,将不同类别样本分开的平面或曲面。
注意:决策边界是假设函数的属性,由参数决定,而不是由数据集的特征决定。

  • 1
    点赞
  • 20
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值