机器学习实战——logistic回归

目录

一、Logistic回归介绍

1.Logistic回归的一般过程

2.Logistic回归的特点

二、基于Logistic回归和Sigmoid函数的分类

三、基于最优化方法的最佳回归系数确定

1.梯度上升法

2.梯度下降法

四、训练算法：使用梯度上升找到最佳参数

1.数据准备

2.训练算法

3.绘制决策边界

4.随机梯度上升算法

5.改进的随机梯度上升算法

6.回归系数与迭代次数的关系

五、使用逻辑回归进行MNIST数据集分类

---

一、Logistic回归介绍

        假设现在有一些数据点，我们用一条直线对这些点进行拟合（该线称为最佳拟合直线），这个拟合过程就称作回归。利用Logistic回归进行分类的主要思想是：根据现有数据对分类边界线建立回归公式，以此进行分类。这里的“回归”一词源于最佳拟合，表示要找到最佳拟合参数集。训练分类器时的做法就是寻找最佳拟合参数，使用的是最优化算法。

1.Logistic回归的一般过程

1. 收集数据：采用任意方法收集数据。
2. 准备数据：由于需要进行距离计算，因此要求数据类型为数值型。另外，结构化数据格式则最佳。
3. 分析数据：采用任意方法对数据进行分析。
4. 训练算法：大部分时间将用于训练，训练的目的是为了找到最佳的分类回归系数。
5. 测试算法：一旦训练步骤完成，分类将会很快。
6. 使用算法：首先，我们需要输入一些数据，并将其转换成对应的结构化数值；接着，基于训练好的回归系数就可以对这些数值进行简单的回归计算，判定它们属于哪个类别；在这之后，我们就可以在输出的类别上做一些其他分析工作。

2.Logistic回归的特点

优点：计算代价不高，易于理解和实现。
缺点：容易欠拟合，分类精度可能不高。
适用数据类型：数值型和标称型数据。

二、基于Logistic回归和Sigmoid函数的分类

我们想要的函数应该是，能接受所有的输入然后预测出类别。例如，在两个类的情况下，上述函数输出0或1。Sigmoid函数(Logistic函数)拥有这样的性质。Sigmoid函数具体的计算公式如下：

 整合成一个公式，就变成了如下公式：

z是一个矩阵，θ是参数列向量(要求解的)，x是样本列向量(给定的数据集)。θ^T表示θ的转置。g(z)函数实现了任意实数到[0,1]的映射，这样我们的数据集([x0,x1,…,xn])，不管是大于1或者小于0，都可以映射到[0,1]区间进行分类。

下图是Sigmoid函数在不同坐标尺度下的两条曲线图：

当x为0时，Sigmoid函数值为0.5，随着x的增大，对应的Sigmoid值将逼近于1；而随着x的减小，Sigmoid值将逼近与0。如果横坐标足够大，Sigmoid函数将看起来像一个阶跃函数。

三、基于最优化方法的最佳回归系数确定

Sigmoid函数的输入记为z，由下面公式得出：

根据向量的写法，上述公式写成，其中，x是分类器的输入数据，向量w就是我们要找的最佳参数（系数），为了寻找最优化w值，还需要用到最优化理论。

1.梯度上升法

        梯度上升法基于的思想是：要找到某函数的最大值，最好的方法是沿着该函数的梯度方向探寻。如果梯度记为∇，则函数f(x,y)的梯度由下式表示：

这个梯度意味着要沿x的方向移动，沿y的方向移动。其中，函数f(x,y)必须要在待计算的点上有定义并且可微。一个具体的函数例子见下图。

        梯度上升算法到达每个点后都会重新估计移动的方向。从P0开始，计算完该点的梯度，函数就根据梯度移动到下一点P1。在P1点，梯度再次被重新计算，并沿新的梯度方向移动到P2.如此循环迭代，知道满足通知条件。迭代的过程中，梯度算子总是保证我们能选取到最佳的移动方向

       上图中的梯度上升算法沿梯度方向移动了一步。可以看到，梯度算子总是指向函数值增长最快的方向。这里所说的是移动方向，而未提到移动量的大小。该量值称为步长，记作α。用向量来表示的话，梯度上升算法的迭代公式如下：

该公式将一直迭代执行，直至达到某个停止条件为止，b比如迭代次数达到某个值或者算法达到某个可以允许的误差范围。

2.梯度下降法

        如果是梯度下降法，那就是按梯度上升的反方向迭代公式即可，对应的公式如下：