逻辑回归模型

由于逻辑回归是机器学习中的模型，所以在介绍逻辑回归前，先看看一些基本的知识！

上篇博文介绍了 线性回归模型，

机器学习：

通俗来讲就是让机器学会决策，即学习一个函数f(x)，这个函数可以很好的实现输入到输出的映射。而常见的实际问题中，分类和回归是机器学习的主要问题；

回归问题：

输入变量和输出变量可能具有不同的类型，当输入变量和输出变量均为连续变量的预测问题

分类问题：

输入变量和输出变量可能具有不同的类型，当输出变量为离散变量的预测问题

逻辑回归

逻辑回归的名字中虽然有回归，然其是一个分类算法，线性回归完成的是回归拟合问题，而对于分类任务，我们同样是需要一条直线，但不是去拟合每一个数据点，而是把不同的类别的样本区分开来

如上图所示，我们需要一条直线去区分这些数据点，并且对于新的数据点，也要尽可能好的拟区分（泛化能力）

预测函数：

对于二分类问题，y∈{1,0}，1表示正例，0表示负例，逻辑回归是在线性函数θx输出的预测值基础上，去寻找一个假设函数g，来将预测值映射到0,1之间！！！如果预测函数h(x) > 0.5，则预测y = 1,否则预测y = 0，预测函数的表示如下：

在逻辑回归算法中，选择了对数几率函数作为假设函数（激活函数），而sigmoid函数是其重要的代表

函数的图像：

所以逻辑回归输出的预测函数的表达式为：

其中，θ是参数向量。对于预测函数h(x)最直观的解释就是：对于给定的输入x，预测函数h(x)表示其对应类别y = 1 即属于正例的概率。

问题

问题：为什么逻辑回归又叫对数几率回归？

答： 由于预测函数为：

又有：

h(x)表示x属于正例的概率，1 - h(x)表示x属于负例的概率，两者之比叫做几率，表示了x作为正例的相对可能性，取对数就叫做对数几率，其结果恰好表示预测值！！所欲逻辑回归又叫做对数几率回归

如果说线性回归是对于特征的线性组合，来拟合真实标记的话（y = wx+b），那么逻辑回归就是对于特征的线性组合拟合真实标记为正例的概率的对数几率

损失函数：

那么如何评价上面的预测函数的好坏呢？？我们是否可以采用和线性回归一样的损失函数，均方误差来表示真实值和预测值之间的差别。

不可以：因为预测函数中含有sigmoid函数，而sigmoid函数具有饱和性，即就是当自变量稍微大点或者小的时候，梯度的变化将会非常的慢，不利于优化

逻辑回归解决的是分类任务，那么我们可以对每个类别分别计算各自的损失，再相加就可以了。

• 对于真实标记为1的正样本，我们希望预测值越接近1，其损失值越小；
• 对于真实标记为0的负样本，我们希望预测值越接近0，其损失值越小；
• 而数学中的**-log函数**就满足这点，看下图：

从图中看出：h(x)表示预测值为正例（也就是1）的概率，其负对数函数在1处损失值为0；1 - h(x)表示预测值为负例（也就是0）的概率，其负对数函数在0处损失值为0.满足我们的需求；

故有：

cost()函数，表示代价函数，也就是损失函数；
我们把上述的损失函数合并起来：

总的损失函数：

问题：

问题：为什么定义这样的损失函数？（为什么用这样的损失函数？？）

答：实际上J(θ)是通过极大似然估计推到出来的。
由于y只能取值0或者1，服从二项分布，则后验概率：

将上面两个式子合并起来：

对于m个独立同分布的训练样本x,其似然函数为：

为了简化两边同时取对数，并且为了最大化似然函数，最小化损失函数，添加负号：

最后目标变为：取J(θ)最小时的参数θ为最佳参数。

优化方法:

梯度下降法：

详细过程：

注意： 虽然得到的梯度下降更新公式和线性回归是一样的，但是这里的 和线性回归的不一样。

正则化的逻辑回归：

多分类：

（逻辑回归）LR是传统的二分类模型，它也可以用于对分类任务中，其基本思想就是：将多分类任务拆分成若干个二分类任务，然后对每一个二分类任务训练一个模型，最后将多个模型的结果进行集成以获得最终的分类结果。

One vs one 策略：

假设我们有N个类别，该策略基本思想就是不同类别两两之间训练一个分类器，这时我们一共会训练出C2n种不同的分类器。在预测时，我们将样本提交给所有的分类器，一共会获得N(N−1)个结果，最终结果通过投票产生。

One vs all 策略：

该策略基本思想就是将第一种类型的所有样本作为正例，将剩下的所有样本作为负例，进行训练得到一个分类器。这样我们就一共可以得到N个分类器。在预测时，我们将样本提交给所有的分类器，一共会获得N个结果，我们选择其中概率值最大的那个作为最终分类结果。