逻辑回归这个名字听起来与线性回归有一定的相似,因为有回归二字。实际上,逻辑回归与线性回归没有什么关系,逻辑回归是分类模型的一种,对于任意的(x_i,y_i), y_i的取值为(0,1)。本文主要从机器学习角度来阐述逻辑回归模型,有些地方会兼顾统计学。
逻辑回归是用sigmoid函数将其值域压缩到0,1之间。逻辑回归的输出值是概率值(可以理解为特定事情的发生概率),可设定阈值将其分成两类,默认阈值是0.5。本文范围中的阈值都是0.5。sigmoid是机器学习中的说法,统计学中是利用发生比(odds)的自然对数(logit)来处理,结果是一致的。
Sigmoid函数是:
逻辑回归的函数:
之前的文章中有提到指数分布族,在逻辑回归中的含义是,对于每一个x_i,y_i的分布是二项分布(伯努利分布)。使用python里面的sklearn中的广义线性模型来估计逻辑回归时,一般选择的分布是伯努利分布。
一、 决策边界
决策边界分为线性决策边界和非线性决策边界。
线性决策边界&
逻辑回归(一)
最新推荐文章于 2024-07-17 00:46:41 发布
![](https://img-home.csdnimg.cn/images/20240711042549.png)