机器学习算法LR（logit regression逻辑回归）原理简单解析

LR(Logit regression， 逻辑回归)，又名：对数几率回归（logistics regression）

注意：虽然它的名字是“回归”，但是实际却是一种分类学习方法。

公式：

• 找一个单调可微函数将分类任务的 真实标记y 与线性回归模型的 预测值 联系起来
• 在逻辑回归中，我们选择对数几率函数：，则逻辑回归的公式：

可以发现：，其中为几率，反映了x作为正例的相对可能性，而 为对数几率，因此可以说，逻辑回归是用线性模型（）的预测结果去逼近真实标记的对数几率，因此该模型也称为“对数几率回归”。

（1）将逻辑回归公式： 中的y视为类后验概率估计，则有：

,

显然有：

可以通过“极大似然法”来估计w和b,给定数据集 ，对数回归模型最大化“对数似然”：

为了便于讨论，另，，则可以简写成。再令，，则上式中的似然项可以重写为：

因此，最终的最大化“对数似然”等价于最小化：

注意：这是关于β的高阶可导连续函数，根据凸优化理论，可用梯度下降法，牛顿法等，求取最优解。