逻辑回归二分类总结(不断迭代，直到彻底掌握)

——背景——

近来，想把学习过的机器学习算法做一个总结，于是打算结合网上的面试经验和工作的需求写下一个机器学习系列文章。这里是更多是参考网上以及书本中的知识，目的系统的整理这些知识，并且只要是参考的文章都会给相应的链接，大家也可以根据需要进行学习。

——正文——

用一句话来介绍逻辑回归就是这样的，假设数据服从伯努利分布^[1]，通过**极大化似然估计^[2]的方法，运用梯度下降法^[3]**来求解参数，来达到将数据二分类的目的。

此篇文章会由为什么不用线性回归模型做分类来引入逻辑回归,从逻辑回归的假设，到逻辑回归的损失函数，到逻辑回归的求解依次来展开，结尾会提出逻辑回归一些细节的问题并给出相应文章的参考链接。

[1] 为什么不用线性回归模型做分类？
为什么不用线性回归模型，而是使用逻辑斯蒂回归模型，是因为线性回归用于二分类时，会出现这样的问题：如判定一封邮件是否为垃圾邮件，我们需要通过分类器预测分类结果：是（记为1）or不是（记为0）。如果我们考虑0就是“不发生”，1就是“发生”，那么我们可以将分类任务理解成估计事件发生的概率为P，通过事件发生概率的大小来达到分类目的。

这存在的问题是：
(1)等式两边的取值范围不同，右边是负无穷到正无穷，左边是[0,1],显然这样的分类模型存在着问题
(2)实际中的很多问题，都是当x很小或是很大时，对于因变量P的影响很小，当x达到中间某个阈值时，影响很大。我们拿买车的例子来看，当一个人从没有钱到有钱，他买车的概率就会上升，等有钱到一定程度之后，随着挣钱的增加，他买车的概率应该就不会再增加了。即实际中很多问题，概率P与自变量并不是直线关系。
所以，逻辑回归引入logistic函数，使其成为非线性关系，并将分类器输出界定在［0，1］之间，其一般形式可表示为