机器学习算法——LR回归

一、Logistic回归原理及公式推导点击打开链接

这样的方程一共有个，所以现在的问题转化为解这个方程形成的方程组，最后采用牛顿法或者梯度下降法进行求解。

二、为什么逻辑回归比线性回归要好

        线性回归在整个实数域内敏感度一致。而分类范围，需要在[0,1]之内，逻辑回归就是一种减小预测范围，将预测值限定为[0,1]间的一种回归模型，逻辑曲线在z=0时，十分敏感，在z>>0或z<<0处，都不敏感，将预测值限定为(0,1)。

    逻辑回归跟最大熵模型没有本质区别。逻辑回归是最大熵对应类别为二类时的特殊情况，也就是当逻辑回归类别扩展到多类别时，就是最大熵模型。