数据挖掘：模型选择——逻辑回归

逻辑回归

之前介绍的线性回归主要用于回归预测，而逻辑回归主要用于分类任务。逻辑回归是在线性回归的基础上，加上了Sigmoid函数。
线性回归的模型是：

也可以写作：

如果需要预测的值是0-1分布的，那么可以引入一个函数，将线性方程z变为g(z)，让g(z)的值在(0,1)之间，当g(z)的值接近0时，样本的类别判为类别0；当g(z)的值接近1时，样本的类别判为类别1.
这个函数即为Sigmoid函数。其值域在(0,1)之间，定义域是负无穷到正无穷。


引入Sigmoid函数后，得到了逻辑回归模型的一般形式：

此时，y的取值都在[0,1]之间，因此y和1-y相加必然为1。如果我们令y除以1-y可以得到形似几率(odds)的y/(1-y) ，可看作类别为1的与类别为0的概率比。线性回归的值也就是对数几率。

y(x)的形似几率取对数的本质其实就是我们的线性回归z，我们实际上是在对线性回归模型的预测结果取对数几率，来让其结果无限逼近0和1。
线性回归的任务：通过求解参数构建预测函数z，并希望预测函数z能够尽量拟合数据，
逻辑回归的核心任务也是类似的：求解参数来构建一个能够尽量拟合数据的预测函数y(x)，并通过向预测函数中输入特征矩阵来获取相应的标签值y。
y(x)的并非像贝叶斯，输出的是某一类别的概率，它只是(0,1)之间的值，人们近似认为它是概率。一般以0.5为分界点。

逻辑回归的损失函数

二元逻辑回归的标签服从伯努利分布(即0-1分布)，因此我们可以将一个特征向量为x，参数为θ的模型中的一个样本i的预测情况表现为如下形式：