对数几率回归

       线性回归模型讨论的是回归问题，对于分类问题，只需找一个单调可做函数将分类任务的真实标记y与线性回归模型的预测值联系起来。最理想的应该是单位阶跃函数，其中z为预测值。

但是由于阶跃函数不连续，不可微，所以我们使用了一个替代函数：

图像如下：

将预测值代入，可得对数几率函数：

其中y可视为样本x取得正例的可能性，1-y为取得反例的可能性，两者的比值y/（1-y)称为几率。对数几率回归也称为逻辑回归，是一种分类学习方法。

我们将y视为类后验概率估计 p(y = 1 | x),可以得到：

使用极大似然法最大化对率回归模型。

下面这篇博客很好的解释了3.27的由来：

https://blog.csdn.net/VictoriaW/article/details/77947535

(3.27) 是关于 的高阶可导连续凸函数，可以使用梯度下降或牛顿法求解最优值。

牛顿法：

https://blog.csdn.net/google19890102/article/details/41087931

推荐个逻辑回归和极大似然法的链接：

https://zhuanlan.zhihu.com/p/22692266