逻辑回归这个名字听起来与线性回归有一定的相似，因为有回归二字。实际上，逻辑回归与线性回归没有什么关系，逻辑回归是分类模型的一种，对于任意的(x_i,y_i)， y_i的取值为(0,1)。本文主要从机器学习角度来阐述逻辑回归模型，有些地方会兼顾统计学。
逻辑回归是用sigmoid函数将其值域压缩到0，1之间。逻辑回归的输出值是概率值（可以理解为特定事情的发生概率），可设定阈值将其分成两类，默认阈值是0.5。本文范围中的阈值都是0.5。sigmoid是机器学习中的说法，统计学中是利用发生比（odds）的自然对数(logit)来处理，结果是一致的。
Sigmoid函数是：
逻辑回归的函数：
之前的文章中有提到指数分布族，在逻辑回归中的含义是，对于每一个x_i，y_i的分布是二项分布（伯努利分布）。使用python里面的sklearn中的广义线性模型来估计逻辑回归时，一般选择的分布是伯努利分布。
一、 决策边界
决策边界分为线性决策边界和非线性决策边界。
线性决策边界&
逻辑回归（一）
最新推荐文章于 2024-07-17 00:46:41 发布
本文介绍了逻辑回归作为分类模型的基本概念，强调它与线性回归的区别。逻辑回归通过sigmoid函数将输出压缩到0到1之间，用于预测事件发生的概率，并可设定阈值进行二分类。讨论了线性和非线性决策边界，并解释了逻辑回归的代价函数，以及在机器学习和统计学中的不同视角。
最低0.47元/天 解锁文章
379
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
