详细：分类算法之逻辑回归详解

1、逻辑回归(Logistic Regression, LR)

又称为逻辑回归分析，是分类和预测算法中的一种。通过历史数据的表现对未来结果发生的概率进行预测。例如，我们可以将购买的概率设置为因变量，将用户的特征属性，例如性别，年龄，注册时间等设置为自变量。根据特征属性预测购买的概率。

Logistic回归与多重线性回归实际上有很多相同之处，最大的区别就在于它们的因变量不同，其他的基本都差不多。正是因为如此，这两种回归可以归于同一个家族，即广义线性模型（generalizedlinear model）。这一家族中的模型形式基本上都差不多，不同的就是因变量不同：如果是连续的，就是多重线性回归；如果是二项分布，就是Logistic回归；如果是Poisson分布，就是Poisson回归；如果是负二项分布，就是负二项回归。

Logistic回归的因变量可以是二分类的，也可以是多分类的，但是二分类的更为常用，也更加容易解释。所以实际中最常用的就是二分类的Logistic回归，自变量既可以是连续的，也可以是分类的。

多类分类问题：对于多类分类问题，可以将其看做成二类分类问题，保留其中的一类，剩下的作为另一类。对于每一个类 i 训练一个逻辑回归模型的分类器，并且预测y = i时的概率；对于一个新的输入变量x, 分别对每一个类进行预测，取概率最大的那个类作为分类结果。

2、Logistic回归的主要用途

a、 寻找关键因素：寻找某一事件发生的关键因素等；
b、预测：根据模型，预测在不同的自变量情况下，发生某种情况的概率有多大；
c、判别：实际上跟预测有些类似，也是根据模型，判断某个体属于某种情况的概率有多大，也就是看一下该个体有多大的可能性是发生某种情况。

3、 Logistic Regression的适用性

1）可用于概率预测，也可用于分类：可能性预测的好处是结果有可比性：比如我们得到不同广告被点击的可能性后，就可以展现点击可能性最大的N个。这样以来，哪怕得到的可能性都很高，或者可能性都很低，我们都能取最优的topN。当用于分类问题时，仅需要设定一个阈值即可，可能性高于阈值是一类，低于阈值是另一类；

2）仅能用于线性问题：只有在feature和target是线性关系时，才能用Logistic Regression。这有两点指导意义，一方面当预先知道模型非线性时，果断不使用Logistic Regression； 另一方面，在使用Logistic Regression时注意选择和target呈线性关系的feature；

3）各feature之间不需要满足条件独立假设，但各个feature的贡献是独立计算的：逻辑回归不像朴素贝叶斯一样需要满足条件独立假设（因为它没有求后验概率）。但每个feature的贡献是独立计算的，即LR是不会自动帮你combine 不同的features产生新feature的 。举个例子，如果你需要TFIDF这样的feature，就必须明确的给出来，若仅仅分别给出两维 TF 和 IDF 是不够的，那样只会得到类似 aTF + bIDF 的结果，而不会有 cTF*IDF 的效果。

4、过拟合问题

对于线性回归或逻辑回归的损失函数构成的模型，可能会有些权重很大，有些权重很小，导致过拟合（就是过分拟合了训练数据），使得模型的复杂度提高，泛化能力较差（对未知数据的预测能力）。

4.1问题的主因：过拟合问题往往源自过多的特征。

4.2解决方法
1）减少特征数量（减少特征会失去一些信息，即使特征选的很好）
a、可用人工选择要保留的特征；
b、模型选择算法；

2）正则化（特征较多时比较有效）
a、保留所有特征，但减少θ的大小；
b、正则化方法：正则化是结构风险最小化策略的实现，是在经验风险上加一个正则化项或惩罚项。正则化项一般是模型复杂度的单调递增函数，模型越复杂，正则化项就越大。

举例：如下图，直观来看，如果我们想解决这个例子中的过拟合问题，最好能将x3、x4的影响消除，也就是让θ3、θ4近似等于0。假设我们对θ3、θ4进行惩罚，并且令其很小。