线性回归与逻辑回归

一、逻辑回归与线性回归

1、线性回归（Linear Regression）

一般理解上，线性回归输出一个标量wx+b，是连续值，y∈(+∞,−∞)，用来处理回归问题，拟合函数如下：

2、逻辑回归（Logistic Regression）

逻辑回归又称对数几率回归，这个后面会解释。是对线性回归的输出值进行压缩，一般用sigmoid的函数映射到（0，1）上，用来处理分类问题，拟合函数如下：

，其中，即是sigmoid函数，也称为logistic函数。

到这里可以看到，线性回归是对f(x)的输出变量y的拟合，而逻辑回归则是对输出为类别为1（假设二分类，0和1）的样本的概率的拟合。

二、逻辑回归拟合深究

1、推导

理论上用回归方法处理分类问题，最好的函数应该是单位阶跃函数，而实际上单位阶跃函数不连续，所以一般用sigmoid函数来替代：

上文列出了逻辑回归的拟合函数，我们继续推导：

，于是可以得到

2、结论

到这里可以看到，等式左边实际上是类型0和1的对数几率，逻辑回归拟合的另一种表述便是：用线性模型的预测结果去拟合类别1和0的对数几率。那么：

当，实际上就是1类和0类的决策边界；

当，当结果趋于无穷大，则有y为1类；

当，当结果趋于无穷小，则有y为0类；