参考教材:机器学习实战(人民邮电出版社)Peter Harrington【美】著
语言:python
软件:VS code
Logistic回归进行分类的主要思想:根据现有数据对分类边界线建立回归公式,以此进行分类。这里的“回归”一词源于最佳拟合,表示要找到最佳拟合参数集。
Logistic回归的一般过程
- 收集数据:采用任意方法收集数据。
- 准备数据:由于需要进行距离计算,因此要求数据类型为数值型。另外,结构化数据格式则最佳。
- 分析数据:采用任意方法对数据进行分析。
- 训练算法:大部分时间将用于训练,训练的目的是为了找到最佳的分类回归系数。
- 测试算法:一旦训练步骤完成,分类将会很快。
- 使用算法:首先,我们需要输入一些数据,并将其转换成对应的结构化数值;接着,基于训练好的回归系数就可以对这些数值进行简单的回归计算,判定它们属于哪个类别;在这之后,我们就可以在输出的类别上做一些其他分析的工作。
基于Logistic回归和Sigmoid函数的分类
Logistic回归
- 优点:计算代价不高,易于理解和实现。
- 缺点:容易欠拟合,分类精度可能不高。
- 适用数据类型:数值型和标称型数据。
Sigmoid函数
我们需要的是能接受所有输入然后预测出类别的函数,例如:在两个类的情况下,上述函数输出0或1,该函数称为海维塞德阶跃函数,或者直接称为单位阶跃函数。但是,海维塞德阶跃函数的问题在于:该函数在跳跃点上从0瞬间跳跃到1的过程有时很难处理。Sigmoid函数恰好具有类似的性质,并且数学上更加容易处理。Sigmoid函数公式如下:
基于最优化方法的最佳回归系数确定
所描述的 sigmoid 函数的输入将是 z,其中 z 由以下给出:z = w 0 x 0 + w 1 x 1 + w 2 x 2 + ... + w n x n
梯度上升法
思想:要找到某函数的最大值,最好的方法就是沿着该函数的梯度方向探寻。如果梯度记为▽,则函数f(x,y)的梯度由下表示:
这个梯度意味着要沿x方向移动,沿着y的方向移动 。其中,函数f(x,y)必须要待在待计算的点上才有定义并且可微。
训练算法:使用梯度上升找到最佳参数
梯度上升伪代码:
每个回归系数初始化为1
重复R次:
计算整个数据集的梯度
使用alpha×gradient更新回归系数的向量
返回回归系数
Logistic回归梯度上升优化算法:
def loadDataSet():
dataMat = []; labelMat = []
fr = open('testSet.txt')
for line in fr.readlines():
lineArr = line.strip().split()
dataMat.append([1.0, float(lineArr[0]), float(lineArr[1])])
labelMat.append(int(lineArr[2]))
return dataMat,labelMat
def sigmoid(inX):
return 1.0/(1+numpy.exp(-inX))
def gradAscent(dataMatIn,classLabels): #梯度下降算法
dataMatrix=numpy.mat(dataMatIn) #mat是转换为numpy的矩阵数据
labelMat=numpy.mat(classLabels).transpose() #矩阵转秩
m,n=shape(dataMatrix)
alpha=0.001
maxCycles=500
weights=numpy.ones((n,1))
for k in range(maxCycles):
h=sigmoid(dataMatrix*weights) #h是一个列向量
error=(labelMat-h) #计算真实类别和预测类别的差值,按差值方向调整回归系数
weights=weights+alpha*dataMatrix.transpose()*error
return weights
自后进行测试:
weights = logRegres.gradAscent(dataArr, labelMat)
logRegres.plotBestFit(weights.getA())
显示结果:
可以看到结果只分错了2-4个点。
训练算法:随机梯度上升
伪代码:
所有回归系数初始化为1
对数据集中每个样本
计算该样本的梯度
使用alpha×gradient更新回归系数值
返回回归系数
随机梯度上升算法:
def stocGradAscent0(dataMatrix, classLabels):
m,n = shape(dataMatrix)
alpha = 0.01
weights = numpy.ones(n) #initialize to all ones
for i in range(m):
h = sigmoid(sum(dataMatrix[i]*weights))
error = classLabels[i] - h
weights = weights + alpha * error * dataMatrix[i]
return weights
运行代码:
显示结果:
可以看到与上一张图有点相似,但是不完美,因为分类器错分了三分之一的样本
改进的随机梯度上升算法:
def stocGradAscent1(dataMatrix, classLabels, numIter=150):
m,n = shape(dataMatrix)
weights = numpy.ones(n) #initialize to all ones
for j in range(numIter):
dataIndex = range(m)
for i in range(m):
alpha = 4/(1.0+j+i)+0.0001 #apha decreases with iteration, does not
randIndex = int(numpy.random.uniform(0,len(dataIndex)))#go to 0 because of the constant
h = sigmoid(sum(dataMatrix[randIndex]*weights))
error = classLabels[randIndex] - h
weights = weights + alpha * error * dataMatrix[randIndex]
del(dataIndex[randIndex])
return weights
运行代码:
显示结果:
可以看到该分割线达到了与GradientAscent()差不多的效果,但是所使用的的计算量更少。
实例:从疝气病症预测病马的死亡率
使用Logistic回归预测估计马疝气的死亡率
- 收集数据:课本上的数据集
- 准备数据:用python解析文本文件并填充缺失值
- 分析数据:可视化并观察数据
- 训练算法:使用优化算法,找到最佳的系数
- 测试算法:为了量化回归的效果,需要观察错误率。根据错误率决定是否回退到训练阶段,通过改变迭代的次数和步长等参数来得到更好地回归系数。
准备数据:处理数据中的缺失值
处理缺失值的方法
- 使用可用特征的均值来填补缺失值
- 使用特殊值来填补缺失值,如-1
- 忽略有缺失值的样本
- 使用相似样本的均值添补缺失值
- 使用另外的机器学习算法预测缺失值
测试算法:用Logistic回归进行分类
Logistic回归分类函数:
def classifyVector(inX, weights):
prob = sigmoid(sum(inX*weights))
if prob > 0.5: return 1.0
else: return 0.0
def colicTest():
frTrain = open('horseColicTraining.txt'); frTest = open('horseColicTest.txt')
trainingSet = []; trainingLabels = []
for line in frTrain.readlines():
currLine = line.strip().split('\t')
lineArr =[]
for i in range(21):
lineArr.append(float(currLine[i]))
trainingSet.append(lineArr)
trainingLabels.append(float(currLine[21]))
trainWeights = stocGradAscent1(numpy.array(trainingSet), trainingLabels, 1000)
errorCount = 0; numTestVec = 0.0
for line in frTest.readlines():
numTestVec += 1.0
currLine = line.strip().split('\t')
lineArr =[]
for i in range(21):
lineArr.append(float(currLine[i]))
if int(classifyVector(numpy.array(lineArr), trainWeights))!= int(currLine[21]):
errorCount += 1
errorRate = (float(errorCount)/numTestVec)
print ("the error rate of this test is: %f" % errorRate)
return errorRate
def multiTest():
numTests = 10; errorSum=0.0
for k in range(numTests):
errorSum += colicTest()
print ("after %d iterations the average error rate is: %f" % (numTests, errorSum/float(numTests)))
运行并观察结果:
可以看到10次迭代后的平均错误率为35%,因为我们的测试数据有30%的缺失,所以这个错误率算是可以的了,可以通过调整colicTest()中的迭代次数和stochGradAscent1()中的步长来降低平均错误率
小结
Logistic回归的目的是寻找一个非线性函数Sigmoid的最佳拟合参数,求解过程可以由最优化算法来完成。在最优化算法中,最常用的就是梯度上升算法,而梯度上升算法又可以简化为随机梯度上升算法。
随机梯度上升算法与梯度上升算法的效果相当,但占用更少的计算资源。此外随机梯度上升是一个在线算法,它可以在新数据到来的时候就完成参数更新,而不需要重新读取整个数据集来进行批处理计算。