机器学习之逻辑回归

逻辑回归(Logistic Regression) 最初是为了解决二分类问题。

线性回归模型帮助我们实现了回归但无法进行分类，LR就是在线性回归的基础上，构造的一种分类模型。

对于线性模型要想进行如二分类任务，最简单的办法就是通过阶跃函数(unit-step function)，即将线性模型的输出值套上一个函数进行分割，大于z的判定为0，小于z的判定为1。如下图左所示

 

但这有个问题是，分段函数不连续且不可微。因此，提出对数几率函数能够有效地解释这个问题，见上图右，简称Sigmoid函数，该函数任意阶可微，将函数代入可得：

其实，LR 模型就是在拟合 z = w^T x +b 这条直线，使得这条直线尽可能地将原始数据中的两个类别正确的划分开。

通过对几率函数两边取对数，

 

将