机器学习：逻辑回归

什么是逻辑回归

Logistic回归与多重线性回归实际上有很多相同之处，最大的区别就是在于他们的因变量不同，其他的基本都差不多。正是因为如此，这两种回归可以归于同一个家族:广义线性模型（generalizedlinear model）。

逻辑回归就是这样一个过程：面对一个回归或者分类问题，建立代价函数，然后通过优化方式迭代求出最优的模型参数，然后测试验证我们这个求解的模型好坏。

Logistic回归虽然名字里含有“回归”，但它实际上是一种分类方法，可以是二分类的，也可以是多分类的，但是二分类的更为常用，也更加容易解释。所以实际中最常用的就是二分类的Logistic回归。

逻辑回归的优缺点

优点：
1）速度快，适合二分类问题
2）简单易于理解，直接看到各个特征的权重
3）能容易地更新模型吸收新的数据
缺点：
对数据和场景的适应能力有局限性，不如决策树算法适应性那么强

Logistic回归的主要用途

1）寻找危险因素：寻找某一疾病的危险因素等；
2）预测：根据模型，预测在不同的自变量下，发生某病或某种情况的概率多大；
3）判别：实际上跟预测有些类似，也是根据模型，判断某人属于某并或属于某种情况的概率有多大。

Logistic回归主要在流行病学中应用较多，比较常用的情形是探索某疾病的危险因素，根据危险因素预测某疾病发生的概率，等等。例如，想探讨胃癌发生的危险因素，可以选择两组人群，一组是胃癌组，一组是非胃癌组，两组人群肯定有不同的体征和生活方式等。这里的因变量就是是否胃癌，即“是”或“否”，自变量就可以包括很多了，例如年龄、性别、饮食习惯、幽门螺杆菌感染等。自变量既可以是连续的，也可以是分类的。

常规步骤

Regression问题的常规步骤为：
1）寻找h函数（即hypothesis）；
2）构造J函数（损失函数）；
3）想办法使得J函数最小并求得回归参数（θ）

构建预测函数h(x)

Logistic回归虽然名字里带“回归”，但是它实际上是一种分类方法，主要用于两分类问题（即输出只有两种，分别代表两个类别），所以利用了Logistic函数（或称为Sigmoid函数），函数形式为：

Sigmoid 函数

下面左图是一个线性的决策边界，右图是非线性的决策边界 （吴恩达机器学习课程）

对于线性边界的情况，边界形式如下：

构造预测函数为：

函数h_θ(x)的值有特殊的含义，它表示结果取1的概率，因此对于输入x分类结果为类别1和类别0的概率分别为：

构造损失函数J

Cost函数和J函数如下，它们是基于最大似然估计推导得到的。

损失函数详细推导过程：

取似然函数为：

对数似然函数为：

最大似然估计就是求使l(θ)取最大值时的θ，其实这里可以使用梯度上升法求解，求得的θ就是要求的最佳参数。

在AndrewNg的课程中将J(θ)取为下式，即：

梯度下降法求最小值

θ更新过程可以写成：

向量化

Vectorization是使用矩阵计算来代替for循环，以简化计算过程，提高效率。
如上式，Σ(…)是一个求和的过程，显然需要一个for语句循环m次，所以根本没有完全的实现vectorization。

下面介绍向量化的过程：

假设模型：

公式为：

将上述公式向量化：

正则化

过拟合问题
对于线性回归或逻辑回归的损失函数构成的模型，可能会有些权重很大，有些权重很小，导致过拟合，使得模型的复杂度提高，泛化能力较差。

下面左图即为欠拟合，中图为合适的拟合，右图为过拟合。

问题的主因:
过拟合问题往往源自过多的特征

解决方法
1）减少特征数量（减少特征会失去一些信息，即使特征选的很好）

• 可用人工选择要保留的特征
• 模型选择算法

2）正则化（特征较多时比较有效）

• 保留所有的特征，但是减少θ的大小

正则化方法
正则化是结构风险最小策略的实现，是在经验风险上加一个正则化或惩罚项。正则化项一般是模型复杂度的单调递增函数。

从房价预测问题开始，这次采用的是多项式回归，左图是适当的拟和，右图是过拟合。

直观的来看，如果我们想解决例子中的过拟和问题，最好能将X³，X⁴的影响消除，也就是让θ₃≈0，θ₄≈0。假设我们对θ₃和θ₄进行惩罚，并且令其很小，一个简单的办法就是给原有的Cost函数加上两个略大的惩罚项：

正则项可以取不同的形式，在回归问题中取平方损失，就是参数的L2范数，也可以取L1范数。取平方损失时，模型的损失函数变为：

lambda是正则项系数：

• 如果它的值很大，说明对模型的复杂度惩罚大，对拟和数据的损失惩罚小，这样它就不会过分拟和数据，在训练数据上的偏差较大，在位置数据上的方差较小，但是可能出现欠拟合现象。
• 如果它的值很小，说明比较注重队训练数据的拟和，在训练数据上的偏差会小，但是可能会导致过拟和。

正则化后的梯度下降算法θ的更新变为：

正则化后的线性回归的Normal Equation的公式为：

多分类问题

对于多分类问题，可以将其看成二分类问题：保留其中一个类，剩下的作为另一个类。

对于每一个类 i 训练一个逻辑回归模型的分类器h_θ⁽ⁱ⁾X,并且预测y=i时的概率；对于一个新的输入变量x，分别对每一个类进行预测，取概率最大的哪个类作为分类结果

逻辑回归和多重线性回归的区别

Logistic回归与多重线性回归实际上有很多相同之处，最大的区别就在于它们的因变量不同，其他的基本都差不多。正是因为如此，这两种回归可以归于同一个家族，即广义线性模型（generalizedlinear model）。
这一家族中的模型形式基本上都差不多，不同的就是因变量不同。这一家族中的模型形式基本上都差不多，不同的就是因变量不同。

• 如果是连续的，就是多重线性回归
• 如果是二项分布，就是Logistic回归
• 如果是Poisson分布，就是Poisson回归
• 如果是负二项分布，就是负二项回归

内容参考自：http://blog.csdn.net/pakko/article/details/37878837