Logistic回归

概述

Logistic 回归 或者叫逻辑回归 虽然名字有回归，但是它是用来做分类的。其主要思想是: 根据现有数据对分类边界线(Decision Boundary)建立回归公式，以此进行分类。“回归”一词源于佳拟合，表示要找到佳拟合参数集。“回归”一词源于佳拟合，表示要找到佳拟合参数集。

优点：计算代价不高，易于理解和实现。
缺点：容易欠拟合，分类精度可能不高。
适用数据类型：数值型和标称型数据。

Sigmoid函数

我们想要的函数应该是，能接受所有的输入然后预测出类别。例如，在两个类的情况下，上 述函数输出0或1。或许你之前接触过具有这种性质的函数，该函数称为海维塞德阶跃函数 （Heaviside step function），或者直接称为单位阶跃函数。然而，海维塞德阶跃函数的问题在于： 该函数在跳跃点上从0瞬间跳跃到1，这个瞬间跳跃过程有时很难处理。幸好，另一个函数也有类 似的性质①，且数学上更易处理，这就是Sigmoid函数②。Sigmoid函数具体的计算公式如下：

图5-1给出了Sigmoid函数在不同坐标尺度下的两条曲线图。当x为0时，Sigmoid函数值为0.5。 随着x的增大，对应的Sigmoid值将逼近于1；而随着x的减小，Sigmoid值将逼近于0。如果横坐标 刻度足够大（图5-1下图），Sigmoid函数看起来很像一个阶跃函数。

因此，为了实现Logistic回归分类器，我们可以在每个特征上都乘以一个回归系数，然后把 所有的结果值相加，将这个总和代入Sigmoid函数中，进而得到一个范围在0~1之间的数值。任 何大于0.5的数据被分入1类，小于0.5即被归入0类。所以，Logistic回归也可以被看成是一种概 率估计。

基于最优化方法的最佳回归系数确定

Sigmoid函数的输入记为z，由下面公式得出：

如果采用向量的写法，上述公式可以写成z = wTx，它表示将这两个数值向量对应元素相乘然后 全部加起来即得到z值。其中的向量x是分类器的输入数据，向量w也就是我们要找到的佳参数 （系数），从而使得分类器尽可能地精确。为了寻找该佳参数，需要用到优化理论的一些知识。我们这里使用的是——梯度上升法（Gradient Ascent）。

梯度上升法

向量 = 值 + 方向
梯度 = 向量
梯度 = 梯度值 + 梯度方向

梯度上升法基于的思想是：要找到某函数的 大值，好的方法是沿着该函数的梯度方向探寻。如果梯度记为∇，则函数f(x,y)的梯度由 下式表示：

这是机器学习中最易造成混淆的一个地方，但在数学上并不难，需要做的只是牢记这些符号 的意义。这个梯度意味着要沿x的方向移动 沿y的方向移动 。其中，函数f (x,y) 必须要在待计算的点上有定义并且可微。一个具体的函数例子见图5-2。

图5-2中的梯度上升算法沿梯度方向移动了一步。可以看到，梯度算子总是指向函数值增长 最快的方向。这里所说的是移动方向，而未提到移动量的大小。该量值称为步长，记做 α 。用向 量来表示的话，梯度上升算法的迭代公式如下：

该公式将一直被迭代执行，直至达到某个停止条件为止，比如迭代次数达到某个指定值或算 法达到某个可以允许的误差范围。

梯度下降算法

梯度上升算法用来求函数的最大值，而梯度下降算法用来求函数的最小值。

上图表示参数 θ 与误差函数 J(θ) 的关系图 (这里的误差函数是损失函数，所以我们要最小化损失函数)，红色的部分是表示 J(θ) 有着比较高的取值，我们需要的是，能够让 J(θ) 的值尽量的低。也就是深蓝色的部分。θ0，θ1 表示 θ 向量的两个维度（此处的θ0，θ1是x0和x1的系数，也对应的是上文w0和w1）。

可能梯度下降的最终点并非是全局最小点，可能是一个局部最小点，如我们上图中的右边的梯度下降曲线，描述的是最终到达一个局部最小点，这是我们重新选择了一个初始点得到的。

可以看出这个算法将会在很大的程度上被初始点的选择影响而陷入局部最小点。