（参评）机器学习随笔——逻辑回归

目录

1.Logistic回归算法

1.1回归流程

1.2基于Logistics和Sigmoid函数的分类

2.基于最优化方法确定最佳回归系数

2.1梯度上升法

2.1.1应用举例及测试

2.2随机梯度上升法

2.3改进的随机梯度上升算法

3.使用Logicstic进行预测

3.1数据准备

3.2测试算法：分类

4.心得体会

 

1.回归算法

1.1回归流程

Logistic 回归的一般过程

1、 收集数据：采用什么方法都可以

2、 准备数据：需要进行距离计算，所以需要数据类型为数值型，结构化数据格式最佳

3、 分析数据：采用任一方法对数据进行分析

4、 训练算法：大部分时间将用于训练，训练的目的是为了找到最佳的分类回归系数

5、 测试算法：一旦训练步骤完成，即可进行分类

6、 使用算法：首先，我们需要输入一些数据，并将其转换成对应的结构化数据，接着，基于训练好的回归系数就可以对这些竖直进行简单的回归计算，规定他们属于哪个分类，在这之后，我们就可以在输出的类别上做一些其他分析工作

 

1.2基于Logistics和Sigmoid函数的分类

  需要的函数应该是，能接受所有的输人然后预测出类别。例如，在两个类的情况下，上述函数输出0或1。该函数称为单位阶跃函数。阶跃函数的问题在于:该函数在跳跃点上从0瞬间跳跃到1，这个瞬间跳跃过程有时很难处理。所以在这里用Sigmoid函数代替，为了实现Logistic回归分类器，我们可以在每个特征上都乘以一个回归系数，然后把所有的结果值相加，将这个总和代入Sigmoid 函数中，进而得到一个范围在0-1之间的数值。任何大于0.5的数据被分1类，小于0.5即被归0类。所以，Logistic回归也可以被看成是一种概率估计。确定了分类器的函数形式之后，需要确定最佳回归系数是多少、如何确定。

 

2.基于最优化方法确定最佳回归系数

2.1梯度上升法

  梯度上升算法：要找到某函数的最大值，最好的方法是沿着该函数的梯度方向探寻，梯度用▽表示，则函数f（x，y）的梯度表示为:

 其中，函数f（x，y）必须要在待计算的点上有定义并且可微如下图所示：

 梯度上升算法到达每个点后都会重新估计移动的方向。从P0开始，计算完该点的梯度，函数就根据梯度移动到下一点P1。在P1点，梯度再次被重新计算，并沿新的梯度方向移动到P2。如此循环迭代，直到满足停止条件。迭代的过程中，梯度算子总是保证我们能选取到最佳的移动方向

 

2.2应用举例及测试

  在这里我使用的是书上给的文件中的数据，打开文本后如下：

在这里使用logistic回归梯度上升优化算法：

from numpy import *
def loadDataSet():
    dataMat = []; labelMat = []
    fr = open('testSet.txt')
    for line in fr.readlines():
        lineArr = line.strip().split()
        dataMat.append([1.0, float(lineArr[0]), float(lineArr[1])])
        labelMat.append(int(lineArr[2]))
    return dataMat,labelMat

def sigmoid(inX):
    return 1.0/(1+exp(-inX))

def gradAscent(dataMatIn, classLabels):
    dataMatrix = mat(dataMatIn)             #convert to NumPy matrix
    labelMat = mat(classLabels).transpose() #convert to NumPy matrix
    m,n = shape(dataMatrix)
    alpha = 0.001
    maxCycles = 500
    weights = ones((n,1))
    for k in range(maxCycles):              #heavy on matrix operations
        h = sigmoid(dataMatrix*weights)     #matrix mult
        error = (labelMat - h)              #vector subtraction
        weights = weights + alpha * dataMatrix.transpose()* error #matrix mult
    return weights

  由于上面的程序已经解出了一组回归系数，接下来我们就需要画出数据集和Logistic回归最佳拟合直线的函数

def plotBestFit(weights):
    import matplotlib.pyplot as plt
    dataMat,labelMat=loadDataSet()
    dataArr = array(dataMat)
    n = shape(dataArr)[0] 
    xcord1 = []; ycord1 = []
    xcord2 = []; ycord2 = []
    for i in range(n):
        if int(labelMat[i])== 1:
            xcord1.append(dataArr[i,1]); ycord1.append(dataArr[i,2])
        else:
            xcord2.append(dataArr[i,1]); ycord2.append(dataArr[i,2])
    fig = plt.figure()
    ax = fig.add_subplot(111)
    ax.scatter(xcord1, ycord1, s=30, c='red', marker='s')
    ax.scatter(xcord2, ycord2, s=30, c='green')
    x = arange(-3.0, 3.0, 0.1)
    y = (-weights[0]-weights[1]*x)/weights[2]
    ax.plot(x, y)
    plt.xlabel('X1'); plt.ylabel('X2');
    plt.show()

通过Matplotlib画出图示分割直线：

 

2.3随机梯度上升法

  梯度上升算法在每次更新回归系数时都需要遍历整个数据集，该方法在处理100个左右的数据集时尚可，如果有数十亿样本和成千上万的特征，那么该方法的计算复杂度就太高了。一种改进方法是一次仅用一个样本点来更新回归系数，该方法称为随机梯度上升算法。由于可以在新样本到来时对分类器进行增量式更新，因而随机梯度上升算法是一个在线学习算法。与“在线学习”相对应，一次处理所有数据被称作是“批处理。

主程序：

   

def stocGradAscent0(dataMatrix, classLabels):
    m,n = shape(dataMatrix)
    alpha = 0.01
    weights = ones(n)   #initialize to all ones
    for i in range(m):
        h = sigmoid(sum(dataMatrix[i]*weights))
        error = classLabels[i] - h
        weights = weights + alpha * error * dataMatrix[i]
    return weights

测试程序及结果：

 

  从这里可以看出，这条直线效果并不如在之前梯度上升算法500次迭代后得到的拟合直线那么好，但是由于迭代次数的不同，直接以此来评判两种算法的优劣是不合理的。

 

2.4改进的随机梯度上升算法

  相比于随机梯度上升算法，改进后的算法会缓解数据波动或者高频波动，而且通过随机选取样本来更新回归系数，可以减少周期性的波动。

主程序如下：

def stocGradAscent1(dataMatrix, classLabels, numIter=150):
    m,n = shape(dataMatrix)
    weights = ones(n)   #initialize to all ones
    for j in range(numIter):
        dataIndex = range(m)
        for i in range(m):
            alpha = 4/(1.0+j+i)+0.0001    #apha decreases with iteration, does not 
            randIndex = int(random.uniform(0,len(dataIndex)))#go to 0 because of the constant
            h = sigmoid(sum(dataMatrix[randIndex]*weights))
            error = classLabels[randIndex] - h
            weights = weights + alpha * error * dataMatrix[randIndex]
            del(dataIndex[randIndex])
    return weights

测试程序及结果：

 

修改迭代次数由150变成500

3.使用Logicstic进行预测

3.1数据准备

  数据集来自UCI机器学习数据库，包涵368个样本和28个特征，通过特征来预测患有疝气症的马的存活问题，数据如下：

3.2测试算法：分类

  使用Logistic回归方法进行分类，需要把测试集上每个特征向量乘以最优化方法得来的回归系数，再将该乘积结果求和，最后输人到Sigmoid函数中。如果对应的Sigmoid值大于0.5就预测类别标签为1，否则为O。

主程序：

def classifyVector(inX, weights):
    prob = sigmoid(sum(inX*weights))
    if prob > 0.5: return 1.0
    else: return 0.0
def colicTest():
    frTrain = open('horseColicTraining.txt'); frTest = open('horseColicTest.txt')
    trainingSet = []; trainingLabels = []
    for line in frTrain.readlines():
        currLine = line.strip().split('\t')
        lineArr =[]
        for i in range(21):
            lineArr.append(float(currLine[i]))
        trainingSet.append(lineArr)
        trainingLabels.append(float(currLine[21]))
    trainWeights = stocGradAscent1(array(trainingSet), trainingLabels, 1000)
    errorCount = 0; numTestVec = 0.0
    for line in frTest.readlines():
        numTestVec += 1.0
        currLine = line.strip().split('\t')
        lineArr =[]
        for i in range(21):
            lineArr.append(float(currLine[i]))
        if int(classifyVector(array(lineArr), trainWeights))!= int(currLine[21]):
            errorCount += 1
    errorRate = (float(errorCount)/numTestVec)
    print "the error rate of this test is: %f" % errorRate
    return errorRate

def multiTest():
    numTests = 10; errorSum=0.0
    for k in range(numTests):
        errorSum += colicTest()
    print "after %d iterations the average error rate is: %f" % (numTests, errorSum/float(numTests))

结果如图所示：

  由此可见，错误率大概在34%左右。

 4.心得体会

  通过此次学习我基本理解了Logistic回归和Sigmoid函数分类的基本原理和算法实现，其有非常明显的优点：

1.这种算法的预测结果是界于0和1之间的概率，易于理解和实现

2.可以适用于连续性和类别性自变量。

3.计算代价不高，速度很快，存储资源低

但它本身也有一定的缺点：

1.容易欠拟合

2.分类精度可能不高

3. 不能很好地处理大量多类特征或变量

4. 当特征空间很大时，逻辑回归的性能不是很好 

  在运行程序的过程中，由于书上程序使用的系统为Python2 和我使用的python3部分命令不同，对我造成了一定程度上的困扰，不过最终通过查阅资料的方式解决了，我总结下来主要的差异在于两处：

1.书中使用的road命令在python3中需要变成：

importimportlib

importlib.road

2.书中程序中dataIndex=range（m）创建整数列表（导致“TypeError: ‘range’ object does not support itemassignment”）然而， range() 返回的是“rangeobject”，而不是实际的list 值。所以需要改成以下形式：

本文使用系统为win64位，python版本为32位python3.6.4

本文参考：

《机器学习实战》——人民邮电出版社