【Python机器学习】Logistic回归——基于Logistic回归和Sigmoid函数的分类

假设现在有一些数据点，我们用一条直线对这些点进行拟合（该线被称为最佳拟合直线），这个拟合过程就被称为回归。利用Logistic回归进行分类的主要思想是：根据现有数据对分类边界线建立回归公式，以此进行分类。这里的“回归”一词源于最佳拟合，表示要找到最佳拟合参数集。

训练分类器时的做法就是寻找最佳拟合参数，使用的是最优化算法。

Logistic回归的一般过程：

1、收集数据：采用任意方法收集数据

2、准备数据：由于需要进行距离计算，因此要求数据类型为数值型。另外，结构化数据格式则最佳

3、分析数据：采用任意方法对数据进行分析

4、训练数据：大部分时间将用于训练，训练的目的是为了找到最佳的分类回归系数

5、测试算法

6、使用算法：首先，我们需要输入一些数据，并将其转换成对应的结构化数据；接着，基于训练好的回归系数就可以对这些数值进行简单的回归计算，判定它们属于哪个类别；在这之后，我们就可以在输出的类别上做一些其他分析工作。

Logistic回归的优缺点：

优点：计算代价不高，易于理解和实现。

缺点：容易欠拟合，分类精度可能不高。

适应数据类型：数值型和标称型数据。

我们想要的函数应该是：能接受所有的输入然后预测出类别。例如，在两个类的情况下，上述函数输出0或1。该函数称为海维赛德阶跃函数，或者直接称为单位阶跃函数。但是海维赛德阶跃函数的问题在于：该函数在跳跃点上从0瞬间跳跃到1，这个瞬间跳跃过程有时很难处理。幸好另一个函数也有类似的性质，且数学上更易处理，这就是Sigmoid函数。它的具体计算公式如下：

上图为Sigmoid函数在不同坐标尺度下的两条曲线图。当x为0时，Sigmoid函数值为0.5。随着x增大，对应的Sigmoid值将逼近1；而随着x的减小，Sigmoid值将逼近0。如果横坐标刻度足够大，Sigmoid函数看起来很像一个阶跃函数。

因此，为了实现Logistic回归分类器，我们可以在每个特征上都乘以一个回归函数，然后把所有的结果值相加，将这个总和带入Sigmoid函数中，进而得到一个范围在0-1之间的数值。任何大于0.5的数据被分入1类，小于0.5即被归入0类，所以，Logistic回归也可以被看成一种概率估计。