初探NO.1—逻辑回归学习的前前后后2
有些人觉得数学已经很复杂了,那么如果把它带入实现的编码环节是不是更加困难?
实际来讲确实有一些困难,但是稍作探究,就会发现其中的规律和套路。既然如此,不如耐心地把这一道心里上的坎过去,这样才是真正的进步。
这一篇博客的代码来自于《机器学习pthon实战》我们借着上一篇的逻辑回归,看一看当算法进入实现时候是如何做到的吧。
首先,我们运用python时候首先要下载numpy包,地址如下:
http://www.lfd.uci.edu/~gohlke/pythonlibs/ (找到numpy看着python版本直接下)
有了这个python工具就可以一定程度上与matlab比肩。
第一步作为整个模型的基础,sigmoid函数贯穿始终。Python的方法也是定义的十分简单:
<span style="font-family:Microsoft YaHei;font-size:14px;">def sigmoid(inX):
return 1.0/(1+exp(-inX))</span>
第二步我们要做的就是用算法将这个模型做到最佳,先给出最简单的梯度下降编码过程:
<span style="font-family:Microsoft YaHei;font-size:14px;">def gradAscent(dataMatIn, classLabels):
dataMatrix = mat(dataMatIn) #convert to NumPy matrix
labelMat = mat(classLabels).transpose() #convert to NumPy matrix
m,n = shape(dataMatrix)
alpha = 0.001
maxCycles = 500
weights = ones((n,1))
for k in range(maxCycles): #heavy on matrix operations
h = sigmoid(dataMatrix*weights) #matrix mult
error = (labelMat - h) #vector subtraction
weights = weights + alpha * dataMatrix.transpose()* error #matrix mult
return weights</span>
这里我们对这一段代码进行一下理解:
方法的前面3行属于数据处理过程,分别矩阵化了数据集和结果集,并且找到了数据集的维度个数据个数。
从第4行开始,定义了其中的参数,首先alpha作为一个学习速率的变量,它表征着每一次迭代梯度的学习量,为下图公式的
maxcycles 是最大的迭代次数,也就是说,当它循环500次无论计算结果是否符合要求都将终止计算。当然,我们为了提高计算效率,也可以设置一个容忍度e,当k+1次的结果相比于k次不超过e时候,也可以终止结算。
weights 是我们真正要求的权重,全部初始为1
在下面的循环中,这个sigmoid会被反复的应用,流程如下:
1 自己求出一个结果,作为本轮的结果
2 拿这个结果和真正的结果集labelMat做比较做成error的向量,其实就相当于求出了,我们说的梯度。(大家结合梯度的定义和计算机里差分运算不难理解)
3 拿这个梯度乘以学习的速率,与k次的权重进行结合作为k+1次的结果参与下一次运算。
bingo!其实这就是逻辑回归最精髓的地方,短短几行代码解决了所有的问题。最后我们为了这个模型的完整性做了几步数据的整理和校验,代码如下:
<span style="font-family:Microsoft YaHei;font-size:14px;">def classifyVector(inX, weights):
prob = sigmoid(sum(inX*weights))
if prob > 0.5: return 1.0
else: return 0.0</span>
这一个方法规定,如果计算结果>0.5那么判定为1,如果计算结果<0.5。那么判定为负值。
<span style="font-family:Microsoft YaHei;font-size:14px;">def loadDataSet():
dataMat = []; labelMat = []
fr = open('testSet.txt')
for line in fr.readlines():
lineArr = line.strip().split()
dataMat.append([1.0, float(lineArr[0]), float(lineArr[1])])
labelMat.append(int(lineArr[2]))
return dataMat,labelMat
</span>
这个方法为文本数据量身定做,是为了整理出来python list这个数据结构规定的数据,如果有函数不明白请百度一下这个python函数即可。
<span style="font-family:Microsoft YaHei;font-size:14px;">def colicTest():
frTrain = open('horseColicTraining.txt'); frTest = open('horseColicTest.txt')
trainingSet = []; trainingLabels = []
for line in frTrain.readlines():
currLine = line.strip().split('\t')
lineArr =[]
for i in range(21):
lineArr.append(float(currLine[i]))
trainingSet.append(lineArr)
trainingLabels.append(float(currLine[21]))
trainWeights = gradAscent(array(trainingSet), trainingLabels)
print trainWeights
errorCount = 0; numTestVec = 0.0
for line in frTest.readlines():
numTestVec += 1.0
currLine = line.strip().split('\t')
lineArr =[]
for i in range(21):
lineArr.append(float(currLine[i]))
if int(classifyVector(array(lineArr), trainWeights))!= int(currLine[21]):
errorCount += 1
errorRate = (float(errorCount)/numTestVec)
print "the error rate of this test is: %f" % errorRate
return errorRate</span>
这个方法就是调用了之前的方法,相当于一个程序的主函数,只不过返回的结果是一个错误率errorRate。我们可以用这个来看出这个模型的好坏~
最后给出数据集和结果集,大家快去复制代码去到python里实践一下~
测试集:点这里
训练集:点这里