机器学习实战之Logistic回归

一、基本概念

Logistic，一种解决回归问题的经典算法，属于优化算法的一种，主要使用梯度上升或下降的方法进行问题求解，从而得到最佳拟合直线。假设现在有一些数据点，我们用一条直线对这些点进行拟合，这个拟合过程就称做回归。利用Logistic进行分类的主要思想为：根据现有数据对分类界线建立回归公式，以此进行分类。

显然得到Logistic拟合直线（曲线）并不是我们的终极目的，因为我们的目标是进行分类预测，这也是为什么我们明明解决的是分类问题却要用到回归二字的缘由，得到回归直线只是其中的一个步骤，当我们得到回归直线后，可以考虑将其带入一个函数，根据函数结果判断属于0 or 1类，此类函数有海维塞得阶跃函数（Heaviside step function），但此函数从0到1的跳跃是瞬间的，跳跃过程难以处理，因此我们选择了另外一种常见的分类函数——Sigmoid，f(x)=1/1+exp(-x)，此函数具有优良性质，因为其值域为[0，1]，且x=0时函数值为0.5，将回归直线带入该函数，结果大于0.5则被分类为正例，否则为负例，其实也是一种概率推断，即以0.5为界限判断属于哪一类的概率更大。

二、基于最优化方法的最佳回归系数确定

不难看出，Logistic回归的核心问题是回归系数的确定，这里就要用到高数里的梯度法了，通俗来说就是每次都沿着梯度下降or上升最快的方向进行迭代，这样算法就可以在最短时间内收敛，从而得到最佳回归系数，由于本文以实战为主，复杂的数学原理可以查阅相关资料得到一个直观的理解。而梯度下降有分为两种，批量梯度下降BGD（Batch gradient descent）和随机梯度下降SGD（Stochastic gradient descent），主要区别在于BGD每次迭代要用到所有训练数据，当数据量较小时该方法非常奏效，但数据量非常大时，训练速度将会急速下降，计算复杂度极高，因此产生了SGD，即每次只用一个样本点进行迭代，便可加快收敛速度，但带来的缺点也是显而易见的，即结果不如BGD精确，但我们可以对其进行改进提高准确度。

三、代码实例

以上就是Logistic的基本原理，没有完全明白也问题不大，通过实例代码可以更好的理解算法思想，掌握其精髓，书看百遍不如自己动手实现一遍，一起动手实现一个Logistics小例子吧~~

首先定义程序整体框架，然后逐一实现其子函数模块。当然前提时导入numpy和matplotlib库。

loadDataSet函数用来对数据做预处理，返回的是数据数组dataArr和类别矩阵labelMat。

gradAscent函数是核心模块，用来梯度算法计算出权重值weights。

plotBestFit函数用坐标系来刻画数据点以及分类后的结果，传入参数weights即可画出图形。

from numpy import *
import matplotlib.pyplot as plt
def main():
    dataArr,labelMat = loadDataSet()
    weights = gradAscent(dataArr,labelMat)
    plotBestFit(weights)

loadDataSet模块

def loadDataSet():
    dataMat = []
    labelMat = []
    fr = open('testSet.txt')
    for line in fr.readlines():
        lineArr = line.strip().split()
        dataMat.append([1.0,float(lineArr[0]),float(lineArr[1])])
        labelMat.append(int(lineArr[2]))

    return dataMat,labelMat

gradAscent模块

#批量梯度上升
def gradAscent(dataMatIn,classLabels):
    dataMatrix = mat(dataMatIn)
    labelMat = mat(classLabels).transpose()
    m,n = shape(dataMatrix)
    alpha = 0.001
    maxCycle = 500
    weights = ones((n,1))
    for k in range(maxCycle):
        h = sigmoid(dataMatrix*weights)
        error = (labelMat-h)
        weights = weights + alpha * dataMatrix.transpose() * error
    return weights

plotBestFit模块

def plotBestFit(wei):
    weights = wei.getA()  #矩阵转化为数组
    dataMat,labelMat = loadDataSet()
    dataArr = array(dataMat)
    n = shape(dataArr)[0]
    xcord1 = []
    ycord1 = []

    xcord2 = []
    ycord2 = []

    for i in range(n):
        if int(labelMat[i]) == 1:
            xcord1.append(dataArr[i,1])
            ycord1.append(dataArr[i,2])
        else:
            xcord2.append(dataArr[i,1])
            ycord2.append(dataArr[i,2])

    fig = plt.figure()
    ax = fig.add_subplot(111)
    ax.scatter(xcord1,ycord1,s=30,c='red',marker='s')
    ax.scatter(xcord2,ycord2,s=30,c='green')
    x = arange(-3.0,3.0,1.0) #返回一个array对象，从-3.0到3.0,步长为1.0
    y = (-weights[0]-weights[1] * x) / weights[2]
    ax.plot(x,y)
    plt.xlabel('X1')
    plt.ylabel('X2')
    plt.show()

以上就是批量梯度上升的全部代码，实际分类效果如何呢？刻画出分类结果如下：

可以看到分类结果比较令人满意，只有4个样本点分类错误。

那么使用随机梯度上升算法分类效果如何呢？这里我们定义stocGradAscent函数表示随机梯度上升算法

#随机梯度上升
def stocGradAscent(dataMatrix,classlabels):
    m,n = shape(dataMatrix)
    alpha = 0.01
    weights = ones(n)
    for i in range(m):
        h = sigmoid(sum(dataMatrix[i] * weights))
        error = classlabels[i] - h
        weights = weights + alpha *error *dataMatrix[i]
    return weights

再次得到分类结果为：

可以看到本次分类效果明显没有批量梯度算法好，那么是否有改进的随机梯度算法呢？答案是肯定的。判断优化算法优劣的可靠方法是看它是否收敛，即参数是否达到了稳定值，是否还会不断地变化，因此随机梯度的主要问题是周期性的波动，导致数据分类效果较差，因此我们通过改进两处来修正该算法，首先是alpha的值，其在每次迭代时都会调整，并且不会减小到0，其次使用随机样本来更新回归系数，从而减少周期性波动。另外，该算法也提供了第三个默认参数，若不设置，则默认迭代150次。代码如下

#改进的随机梯度上升
def stocGradAscent1(dataMatrix,classLabels,numIter = 150):
    m,n = shape(dataMatrix)
    weights = ones(n)
    for j in range(numIter):
        dataIndex = list(range(m))
        for i in range(m):
            alpha = 4/(1.0+j+i) + 0.1
            randIndex = int(random.uniform(0,len(dataIndex)))
            h = sigmoid(sum(dataMatrix[randIndex] * weights))
            error = classLabels[randIndex] - h
            weights = weights + alpha * error * dataMatrix[randIndex]
            del (dataIndex[randIndex])
    return weights

效果如下

可见改进后的随机梯度算法准确率明显提升。

四、总结

本文首先介绍了Logistic回归的基本概念，其次概况介绍了最优化问题中的梯度算法原理，最后通过实例代码和可视化方法展示了Logistic回归算法，通过原理+实战，达到了学以致用的目的。