用一条直线对假设的数据点进行拟合(该线称为最佳拟合直线)这个拟合过程称为回归。表示要找到最佳拟合参数集。
Logistic回归进行分类的主要思想是:根据现有数据对分类边界线建立回归公式,以此进行分类。
(1)收集数据
(2)准备数据:由于需要进行距离计算,因此要求数据类型为数值型。另外,结构化数据格式则最佳。
(3)分析数据:采用任意方法对数据进行分析。
(4)训练算法:大部分时间将用于训练,训练目的是为了找到最佳的分类回归系数。
(5)测试算法
(6)使用算法:首先输入数据,并将其转化为对应的结构化数值;接着,基于训练好的回归系数就可以对这些数值进行简单的回归计算,判定它们属于哪个类别;在这之后,可以在输出的类别上做一些其它分析工作。
5.1 基于Logistic回归和Sigmoid函数的分类
Logistic回归
优点:计算代价不高,易于理解和实现
缺点:容易欠拟合,分类精度可能不高
适用数据类型:数值型和标称型数据
为了实现Logistic回归分类器,我们在每个特征上都乘以一个回归系数,然后把所有的结果值相加,将这个总和带入Sigmoid中,进而得到一个范围在0~1之间的数值。任何大于0.5的数据被分入1类,小于0.5的被分为0类。
所以,Logistic回归也被看成是一种概率估计。
确定了分类器的函数形式之后,现在的问题变为:最佳回归系数是多少?如何确定它们的大小?
5.2 基于最优化方法的最佳回归系数确定
Sigmoid的函数的输入记为z ,则
Z = W0X0 + W1X1+……+WnXn,如果采用向量的写法,Z = (W)’X ,x是分类器的输入数据,向量w是我们要找到的最佳参数(系数)从而使得分类器尽可能地精。
梯度上升法
如果梯度记为▽,则函数f(x,y)的梯度由下式表示:
这个梯度就是在X的方向移动
沿着y的方向移动
其中,函数f(x,y)必须要在计算的点上有定义并且可微。
α 表示为步长,则梯度上升的迭代公式为:
W := w + α ▽f(w)
该公式将一直被迭代执行,直至达到某个停止条件为止,比如迭代次数达到某个指定值或算法达到某个可以允许的误差范围。
梯度下降就是将公式中的加号变为减号。
5.3 训练算法:使用梯度上升找到最佳参数
对于100个样本点,每个点包括两个数值型特征:X1和X2,在这个数据集中,通过使用梯度上升法找到最佳回归系数,也就是拟合出Logistic回归模型的最佳参数。
伪代码
每个回归系数初始化为1
重复R次:
计算整个数据集的梯度
使用alpha*gradient更新回归系数的向量
返回回归系数
def loadDataSet():
dataMat = []; labelMat = []
fr = open('testSet.txt')
for line in fr.readlines():
lineArr = line.strip().split()
dataMat.append([1.0, float(lineArr[0]), float(lineArr[1])])
labelMat.append(int(lineArr[2]))
return dataMat,labelMat
def sigmoid(inX):
return 1.0/(1+exp(-inX))
def gradAscent(dataMatIn, classLabels):
dataMatrix = mat(dataMatIn) #convert to NumPy matrix
#print(dataMatrix)
labelMat = mat(classLabels).transpose() #convert to NumPy matrix
#print(labelMat)
m,n = shape(dataMatrix)
alpha = 0.001
maxCycles = 500
weights = ones((n,1))
for k in range(maxCycles): #heavy on matrix operations
h = sigmoid(dataMatrix*weights) #matrix mult
#print(dataMatrix)
#print(weights)
#print(h)
error = (labelMat - h) #vector subtraction
#print(error)
weights = weights + alpha * dataMatrix.transpose()* error #matrix mult
return weights
import logRegres
dataArr,labelMat = logRegres.loadDataSet()
logRegres.gradAscent(dataArr,labelMat)
5.4 分析数据:画出决策边界
def plotBestFit(weights):
import matplotlib.pyplot as plt
dataMat,labelMat=loadDataSet()
dataArr = array(dataMat)
n = shape(dataArr)[0]
xcord1 = []; ycord1 = []
xcord2 = []; ycord2 = []
for i in range(n):
if int(labelMat[i])== 1:
xcord1.append(dataArr[i,1]); ycord1.append(dataArr[i,2])
else:
xcord2.append(dataArr[i,1]); ycord2.append(dataArr[i,2])
fig = plt.figure()
ax = fig.add_subplot(111)
ax.scatter(xcord1, ycord1, s=30, c='red', marker='s')
ax.scatter(xcord2, ycord2, s=30, c='green')
x = arange(-3.0, 3.0, 0.1)
y = (-weights[0]-weights[1]*x)/weights[2]
ax.plot(x, y)
plt.xlabel('X1'); plt.ylabel('X2');
plt.show()
5.5 训练算法:随机梯度上升
一次仅用一个样本点来更新回归系数,该方法称为随机梯度上升算法。由于可以在新样本来到时对分类器进行增量式更新,因而随机梯度上升算法是一个在线学习算法。
伪代码
所有回归系数初始化为1
对数据集中每个样本
计算该样本的梯度
使用alpha * gradient 更新回归系数值
返回回归系数值
def stocGradAscent0(dataMatrix, classLabels):
m,n = shape(dataMatrix)
alpha = 0.01
weights = ones(n) #initialize to all ones
for i in range(m):
h = sigmoid(sum(dataMatrix[i]*weights))
error = classLabels[i] - h
weights = weights + alpha * error * dataMatrix[i]
return weights
区别:
(1)梯度上升算法的变量h和误差error都是向量,但是随机梯度上升算法全是数值
(2)随机梯度上升算法没有矩阵的转换过程,所有变量的数据类型都是Numpy数组
上一个迭代的分类图结果是在整个数据集上迭代500次才得到的。
判断一个优化算法优劣的可靠方法是看它是否收敛。
对于迭代过程中,回归系数小范围的剧烈波动原因的解释:
存在一些不能正确分类的样本点(数据集并非线性可分),在每次迭代时会引发系数的剧烈改变,我们期望算法能够避免来回波动,从而收敛到某个值。另外收敛的速度也要加快。
def stocGradAscent1(dataMatrix, classLabels, numIter=150):
m,n = shape(dataMatrix)
weights = ones(n) #initialize to all ones
for j in range(numIter):
dataIndex = range(m)
for i in range(m):
# alpha在 每次迭代的时候都会调整,随着迭代次数不断减小
# j是迭代次数,i是样本点的下标。
alpha = 4/(1.0+j+i)+0.0001 #apha decreases with iteration, does not
# 通过随机选取样本来更新回归系数
randIndex = int(random.uniform(0,len(dataIndex)))#go to 0 because of the constant
h = sigmoid(sum(dataMatrix[randIndex]*weights))
error = classLabels[randIndex] - h
weights = weights + alpha * error * dataMatrix[randIndex]
del(dataIndex[randIndex])
return weights
注意:要区分下标和样本编号:编号表示了样本在矩阵中的位置,而这里的下标i表示本次迭代中第i个选出来的样本。
遍历数据集20次,之前的方法是500次
注意:出现错误
TypeError: 'range' object doesn't support item deletion
python3.x , 出现错误 'range' object doesn't support item deletion
原因:python3.x range返回的是range对象,不返回数组对象
80行
dataIndex = range(m)改为
dataIndex = list(range(m))
5.6 示例:从疝气病症预测病马的死亡率
使用Logistic回归来预测患有疝病的马的存活问题,数据包括368个样本和28个特征。
(1)收集数据
(2)准备数据:使用Python解析文本文件并填充缺失值
(3)分析数据:可视化并观察数据
(4)训练算法:使用优化算法,找到最佳系数
(5)测试算法:为了量化回归的效果,需要观察错误率。
根据错误率决定是否退回到训练阶段,通过改变迭代的次数和步长等参数来得到更好的回归系数。
(6)使用算法:实现一个简单的命令程序来收集马的症状并输出预测结果
问题:数据缺失,即除了主观和难以测量外,数据集中有30%的值是缺失的。
准备数据:处理数据中的缺失值
可选做法:
(1)使用可用特征的均值来填补缺失值
(2)使用特殊值来填补缺失值
(3)忽略有缺失值的样本
(4)使用相似样本的均值添补缺失值
(5)使用另外的机器学习算法预测缺失值
这里用到的处理方法:
(1)缺失值填补为0
(2)将标签丢失的数据进行丢弃
测试算法:用Logistic回归进行分类
把测试集上每个特征向量乘以最优化方法得来的回归系数,再将该乘积结果求和,最后输入到Sigmoid函数中。
如果对应的Sigmoid值大于0.5就预测类别标签为1,否则为0.
# Logistic 回归函数
def classifyVector(inX, weights):
prob = sigmoid(sum(inX*weights))
if prob > 0.5: return 1.0
else: return 0.0
def colicTest():
frTrain = open('horseColicTraining.txt'); frTest = open('horseColicTest.txt')
trainingSet = []; trainingLabels = []
for line in frTrain.readlines():
currLine = line.strip().split('\t')
lineArr =[]
for i in range(21):
lineArr.append(float(currLine[i]))
trainingSet.append(lineArr)
trainingLabels.append(float(currLine[21]))
trainWeights = stocGradAscent1(array(trainingSet), trainingLabels, 1000)
errorCount = 0; numTestVec = 0.0
for line in frTest.readlines():
numTestVec += 1.0
currLine = line.strip().split('\t')
lineArr =[]
for i in range(21):
lineArr.append(float(currLine[i]))
if int(classifyVector(array(lineArr), trainWeights))!= int(currLine[21]):
errorCount += 1
errorRate = (float(errorCount)/numTestVec)
print ("the error rate of this test is: %f" % errorRate)
return errorRate
def multiTest():
numTests = 10; errorSum=0.0
for k in range(numTests):
errorSum += colicTest()
print ("after %d iterations the average error rate is: %f" % (numTests, errorSum/float(numTests)))
Python问题之“NameError: name 'reload' is not defined”
出现这个错误的原因是你使用的Python版本已经不再使用了
python 2.x版本使用以下解决:
import sys
reload(sys)
sys.setdefaultencoding("utf-8")
python 3.4 及以上使用如下解决:
import logRegres
import imp
imp.reload(logRegres)
即迭代500次平均错误率在32%左右。