机器学习 逻辑斯蒂回归

基本定义

二项逻辑斯蒂回归，简称逻辑回归，也被称为对数几率回归

是一种二分类模型

利用概率来研究类别与特征之间的关系，是一种非线性回归。

对数几率函数的引入

因为二分类任务的输出标记 y ∈ { 0 , 1 } y∈\{0,1\} y∈{ 0,1}，而线性回归的预测值 $z=w^{T}x+b$ 是实数值。

我们希望将实数值 z 转换为 0/1值，最理想的是单位跃阶函数：

又因为它并不连续，我们希望找到在一定程度上接近它的替代函数，并希望替代函数单调可微，于是引入了对数几率函数

$$y=\frac{1}{1+e^{-z}}$$