初探NO.1—逻辑回归学习的前前后后2

  初探NO.1—逻辑回归学习的前前后后2

 

  有些人觉得数学已经很复杂了，那么如果把它带入实现的编码环节是不是更加困难？

  实际来讲确实有一些困难，但是稍作探究，就会发现其中的规律和套路。既然如此，不如耐心地把这一道心里上的坎过去，这样才是真正的进步。

 

  这一篇博客的代码来自于《机器学习pthon实战》我们借着上一篇的逻辑回归，看一看当算法进入实现时候是如何做到的吧。

 

  首先，我们运用python时候首先要下载numpy包，地址如下：

http://www.lfd.uci.edu/~gohlke/pythonlibs/ （找到numpy看着python版本直接下）

有了这个python工具就可以一定程度上与matlab比肩。

 

  第一步作为整个模型的基础，sigmoid函数贯穿始终。Python的方法也是定义的十分简单：

<span style="font-family:Microsoft YaHei;font-size:14px;">def sigmoid(inX):
    return 1.0/(1+exp(-inX))</span>

  第二步我们要做的就是用算法将这个模型做到最佳，先给出最简单的梯度下降编码过程：

<span style="font-family:Microsoft YaHei;font-size:14px;">def gradAscent(dataMatIn, classLabels):
    dataMatrix = mat(dataMatIn)             #convert to NumPy matrix
    labelMat = mat(classLabels).transpose() #convert to NumPy matrix
    m,n = shape(dataMatrix)
    alpha = 0.001
    maxCycles = 500
    weights = ones((n,1))
    for k in range(maxCycles):              #heavy on matrix operations
        h = sigmoid(dataMatrix*weights)     #matrix mult
        error = (labelMat - h)              #vector subtraction
        weights = weights + alpha * dataMatrix.transpose()* error #matrix mult
    return weights</span>

  这里我们对这一段代码进行一下理解：

方法的前面3行属于数据处理过程，分别矩阵化了数据集和结果集，并且找到了数据集的维度个数据个数。

从第4行开始，定义了其中的参数，首先alpha作为一个学习速率的变量，它表征着每一次迭代梯度的学习量，为下图公式的

     

 maxcycles 是最大的迭代次数，也就是说，当它循环500次无论计算结果是否符合要求都将终止计算。当然，我们为了提高计算效率，也可以设置一个容忍度e，当k+1次的结果相比于k次不超过e时候，也可以终止结算。

  weights 是我们真正要求的权重，全部初始为1

  在下面的循环中，这个sigmoid会被反复的应用，流程如下：

      1 自己求出一个结果，作为本轮的结果

      2 拿这个结果和真正的结果集labelMat做比较做成error的向量，其实就相当于求出了，我们说的梯度。（大家结合梯度的定义和计算机里差分运算不难理解）

      3 拿这个梯度乘以学习的速率，与k次的权重进行结合作为k+1次的结果参与下一次运算。

 

bingo！其实这就是逻辑回归最精髓的地方，短短几行代码解决了所有的问题。最后我们为了这个模型的完整性做了几步数据的整理和校验，代码如下：

<span style="font-family:Microsoft YaHei;font-size:14px;">def classifyVector(inX, weights):
    prob = sigmoid(sum(inX*weights))
    if prob > 0.5: return 1.0
    else: return 0.0</span>

这一个方法规定，如果计算结果>0.5那么判定为1，如果计算结果<0.5。那么判定为负值。

 

<span style="font-family:Microsoft YaHei;font-size:14px;">def loadDataSet():
    dataMat = []; labelMat = []
    fr = open('testSet.txt')
    for line in fr.readlines():
        lineArr = line.strip().split()
        dataMat.append([1.0, float(lineArr[0]), float(lineArr[1])])
        labelMat.append(int(lineArr[2]))
    return dataMat,labelMat
</span>

这个方法为文本数据量身定做，是为了整理出来python list这个数据结构规定的数据，如果有函数不明白请百度一下这个python函数即可。

 

<span style="font-family:Microsoft YaHei;font-size:14px;">def colicTest():
    frTrain = open('horseColicTraining.txt'); frTest = open('horseColicTest.txt')
    trainingSet = []; trainingLabels = []
    for line in frTrain.readlines():
        currLine = line.strip().split('\t')
        lineArr =[]
        for i in range(21):
            lineArr.append(float(currLine[i]))
        trainingSet.append(lineArr)
        trainingLabels.append(float(currLine[21]))
    trainWeights = gradAscent(array(trainingSet), trainingLabels)
    print trainWeights
    errorCount = 0; numTestVec = 0.0
    for line in frTest.readlines():
        numTestVec += 1.0
        currLine = line.strip().split('\t')
        lineArr =[]
        for i in range(21):
            lineArr.append(float(currLine[i]))
        if int(classifyVector(array(lineArr), trainWeights))!= int(currLine[21]):
            errorCount += 1
    errorRate = (float(errorCount)/numTestVec)
    print "the error rate of this test is: %f" % errorRate
    return errorRate</span>

这个方法就是调用了之前的方法，相当于一个程序的主函数，只不过返回的结果是一个错误率errorRate。我们可以用这个来看出这个模型的好坏~

 

最后给出数据集和结果集，大家快去复制代码去到python里实践一下~

 

测试集：点这里

训练集：点这里