一、算法思想:
根据现有数据对分类边界建立回归公式,以此进行分类。这里‘回归’一词源于最佳拟合,表示要找到最佳拟合参数集,训练分类器时的做法就是寻找最佳拟合参数集,使用的是最优化算法。
二、Logistic回归的一般过程
1、收集数据:采用任意的方法收集数据
2、准备数据:由于需要进行距离计算,因此要求数据类型为数值型。另外,结构化数据格式最佳。
3、分析数据:采用任意方法对数据进行分析。
4、训练算法:大部分时间将用于训练,训练的目的是为了找到最佳的分类回归系数
5、测试算法:一旦训练步骤完成,分类将会很快
6、使用算法:首先,我们需要输入一些数据,并将其转换成对应的结构化数值;接着,基于训练好的回归系数就可以对这些 数值进行简单的回归计算,判定他们属于哪个类别;在这之后,我们就可以在输出的类别上做一些其他分析工作。
三、模型的优缺点
优点:计算代价不高,易于理解和实现
缺点:容易欠拟合,分类精度可能不高
适用数据类型:数值型和标称型数据
四、算法的实现
1、基于Logitic回归和Sigmoid函数分类
我们想要的函数应该是,能接受所有的输入点后预测出类别。例如,在两个类的情况下,上述函数输出0或1。该类函数称为海维塞德阶跃函数,或者直接称为单位阶跃函数。然而海维塞德阶跃函数的问题在于:该函数在跳跃点上从0瞬间到1,这个瞬间跳跃过程有时很难处理。此时,我们采用另外一个函数进行该处理过程,即Sigmoid函数。具体计算公式如下:
当x为0时,Sigmoid函数值为0.5.随着x的增大,对应的Sigmoid值将逼近于1;而随着x的减小,Sigmoid值将逼近于0。如果横坐标刻度足够大,Sigmoid函数看起来很像一个阶跃函数。
因此,为了实现Logitic回归分类器,我们可以在每个特征上面都乘以一个回归系数,然后把所有的结果都相加,将这个总和带入Sigmoid函数中,进而得到一个范围在0~1之间的数值。任何大于0.5的数据被分入1类,小于0.5的数据被分入0类。所以,Logitic回归也被看成是一种概率估计。
2、基于最优化方法的最佳回归系数确定
Sigmoid函数的输入记为z,由下面的公式得出: