统计学习方法|Logistic回归

01 逻辑斯谛分布

logistic回归是一种经典的分类算法，模型形式如下（二分类），其中x服从逻辑斯谛分布：

什么叫服从逻辑斯谛分布呢？

直观点，分布函数和密度函数长这样：

逻辑斯谛回归模型有什么特点呢？

我们来看逻辑斯谛分布函数的形状，横轴范围在正负无穷之间，而纵轴范围在0~1之间，这个特征太有意思了！

• 把纵轴看作概率，正好分布在0%~100%之间，横轴作为输入正好在正负无穷之间，可以是任意值

• 把这个特征带入逻辑斯蒂回归模型公式，w*x作为横轴输入，F(X)作为概率输出，只要计算得到合适的参数w，那么指定的x输入产生的F(X)可以很好地将输入样本x分类，这就是逻辑斯谛回归模型分类的原理。

于是，逻辑斯谛回归模型的求解问题便变成了求解参数w的问题。

---

02 参数求解

那么，如何求解参数w呢？

于是求解参数w的问题转化为了最优化问题，可以通过梯度下降法、拟牛顿法等方法求解。我们将在下期给出使用随机梯度上升法求解逻辑斯蒂回归模型的实操。

简单提一句，刚才我们一直在讲二分类的逻辑斯蒂回归模型，下面给出多项逻辑斯蒂回归模型

---

03 与朴素贝叶斯的异同点

通过刚才学习，你可能会发现，逻辑斯蒂回归和朴素贝叶斯一样，都是基于概率分类：

• 逻辑斯谛回归模型的分类原则是，将x分类到使P(Y|x)最大的那个Y类，x服从逻辑斯谛分布
• 朴素贝叶斯的分类原则是，将x分类到使P(Y|x)最大的那个Y类，P(Y|x)通过P(x),P(x|Y)得到

NB、LR有哪些不同点呢？

1. 生成模型 vs 判别模型

• Naive Bayes是一个生成模型，在计算P(y|x)之前，先要从训练数据中计算P(x|y)和P(y)的概率，从而利用贝叶斯公式计算P(y|x)
• Logistic Regression是一个判别模型，它通过在训练数据集上最大化判别函数P(y|x)学习得到，不需要知道P(x|y)和P(y)

2. 条件假设

• Naive Bayes是建立在条件独立假设基础之上的
• Logistic Regression的限制则要宽松很多，如果数据满徐条件独立假设，Logistic Regression能够取得非常好的效果；当数据不满度条件独立假设时，Logistic Regression仍然能够通过调整参数让模型最大化的符合数据的分布，从而训练得到在现有数据集下的一个最优模型

---

04 总结

本文讲解了逻辑斯蒂回归模型(LR)的原理以及和NB的异同点，下一期我们将利用随机梯度上升算法训练一个LR模型，用于分类，敬请期待~~

---

05 参考

《统计学习方法》 李航 Chapter6