逻辑回归

广义线性回归

在上节课中，我们介绍了广义线性回归广义线性回归，通过联系函数对线性模型的结果进行一次非线性变换，使它能够描述更加复杂的数据关系，这个连续函数可以是任何一个单调可微函数。

分类问题

除了回归问题，现实世界中还有另外一类非常常见的任务分类问题，例如垃圾邮件识别，图片分类，疾病判断等都属于分类问题。

分类器

分类器能够自动对输入的数据进行分类，它的输入是样本的特征，输出是离散的值表示输入样本属于哪个类别？
例如在鸢尾花分类中分类器的输入就是鸢尾花的花萼尺寸和花瓣尺寸，经过计算后，输出0，1，2分别表示山鸢尾，变色原委和维基尼亚鸢尾。

如果要实现图像分类，例如手写数字识别手写数字的图片，会以向量的形式提供给分类器，例如在minister数据集中每一张数字的图片都是28×28像素的灰度图片，那么它就会以一个包含784个像素的一维向量的形式送入分类器中，经过分类器的计算之后，输出0~9，10个离散的值。

实现分类器

那么怎样才能实现这样的分类器呢？

• 准备训练样本
• 训练分类器
• 对新样本分类

和回归一样，首先我们需要收集一些有分类标记的训练样本，然后用这个训练样本集去训练分类器。

训练好之后，这个分类器就能够接收新的没有标记的样本，并对它作出分类判断。

分类器的设计，其实很简单，只要对线性回归模型稍加改造就可以了。

比如在这个例子中，我们现在不再预测房价，而是要把商品房分成普通住宅和高档住宅两种类别，分别用0和1来表示。

假设我们规定房价大于100万的就是高档住宅低于100万的就是普通住宅，那么只要在线性回归预测出的房价的基础上，再增加一个阶跃函数就可以了。

单位阶跃函数

这是单位阶跃函数的表达式，单位小于零时函数值等于0，当a大于等于0时函数值等于1。

在这个例子中，我们首先计算房价需求商品房类型Z。Z和X之间是线性关系。
$z=wx+b$
然后使用Z作为单位阶跃函数的自变量，去求商品房类型y，判断的条件是房价减去100万，看看结果是否大于0，这其实就是广义线性回归。

这个阶跃函数，就是联系函数g的逆函数。通过它实现了对商品房的分类。

二分类问题：1/0–正例和反例

这个例子是最简单的分类，二分类问题，输出结果分为两类，分别是正例和反例，一般用1和0来表示。

可以方便的把线性回归模型转变为分类器，

但是，它存在两个问题：

• 第一它不光滑，假设z非常接近于0，那么这个样本分类应该是1还是0呢？例如，一套99万的房子和一套101万的房子，可能他们之间并没有非常明显的差距，如果仅仅把它们划分成普通住宅和高档住宅，把这个结果提供给用户，好像有点过于简单粗暴
• 第二它不连续，这个函数在Z=0的这点存在着从0~1的突变，这在后续的数学计算中会带来很多的麻烦，例如，在这一点上就无法求导数。

其实，阶跃函数并不是一个合格的单调可微的联系函数，我们希望找到一个近似的替代函数，它能够像阶跃函数一样把线性模型的结果映射到0和1实现分类，并且是连续光滑的，对数几率函数就是满足这样要求的函数。

对数几率函数

为什么叫做对数几率函数呢？我们对这个函数进行整理可以表示成这样的形式。

其中的Y代表某件事情发生的概率，1-Y是不发生的概率，他们的比值反映了这件事情发生和不发生的相对可能性，也就是几率。对这个几率求对数就是对数几率。

对数几率函数单调上升，连续光滑并且任意阶可导，具有很好的数学性质，我们使用它来代替单位阶跃函数作为，异线性回归中的连续函数就是对数几率，回归也称作逻辑回归。

对数几率回归/逻辑回归

逻辑回归使用线性回归的结果，作为对数几率函数的自变量，它的名字是回归，但是实现的是一个分类器。

它不仅可以预测类别，而且还可以预测出输入样本属于某个类别的概率，这对于很多需要利用概率来辅助决策的任务来说非常有用，例如在商品房评估系统中它可以输出这个房子属于高档住宅的概率。

当房价是99万或者101万时，属于高档住宅的概率都是在50%左右，也就是说他们属于高档住宅和普通住宅的可能性差不多，没有明显的差别，在进行分类时，我们可以把这个概率值转化为类别输出，例如将阈值设置为0.5，当概率值大于0.5时就是高档住宅，如果概率小于0.5就是普通住宅。

假设这是一个个人信用评价系统，输出y是每个人的违约风险。

如果我们希望对一个人的违约风险持谨慎态度，就可以选择一个更小的阈值来进行分类，例如把阈值设置为0.2，当预测出某个人违约的可能性大于0.2，就对这个人的消费进行限制，对数几率函数的形状，近似于S这类外形的函数称为sigmoid函数，对数几率函数是这个sigmoid函数中最重要的代表，在大多数没有特别说明的情况下，sigmoid函数就是指对数几率函数。

sigmoid函数

这里的$\sigma (z)$就表示sigmoid函数。sigmoid函数能够将取值范围从负无穷大到正无穷大的输入转化为一个0~1范围内的值来表示概率。

多元模型

同样也可以把逻辑回归推广到多元模型中，这是他的表达式。