机器学习——Logistic回归

本文详细介绍了Logistic回归在分类问题中的应用,包括其主要思想、一般过程、优缺点及适用数据类型。文章通过Python实现展示了梯度上升法和随机梯度上升法在确定最佳回归系数中的运用,以及在马疝气病症预测中的实际案例。随机梯度上升算法在减少计算资源的同时,达到了与梯度上升法相近的效果。
摘要由CSDN通过智能技术生成

参考教材:机器学习实战(人民邮电出版社)Peter Harrington【美】著 

语言:python 

软件:VS code

Logistic回归进行分类的主要思想:根据现有数据对分类边界线建立回归公式,以此进行分类。这里的“回归”一词源于最佳拟合,表示要找到最佳拟合参数集。

Logistic回归的一般过程

  1. 收集数据:采用任意方法收集数据。
  2. 准备数据:由于需要进行距离计算,因此要求数据类型为数值型。另外,结构化数据格式则最佳。
  3. 分析数据:采用任意方法对数据进行分析。
  4. 训练算法:大部分时间将用于训练,训练的目的是为了找到最佳的分类回归系数。
  5. 测试算法:一旦训练步骤完成,分类将会很快。
  6. 使用算法:首先,我们需要输入一些数据,并将其转换成对应的结构化数值;接着,基于训练好的回归系数就可以对这些数值进行简单的回归计算,判定它们属于哪个类别;在这之后,我们就可以在输出的类别上做一些其他分析的工作。

基于Logistic回归和Sigmoid函数的分类

Logistic回归

  • 优点:计算代价不高,易于理解和实现。
  • 缺点:容易欠拟合,分类精度可能不高。
  • 适用数据类型:数值型和标称型数据。

Sigmoid函数

        我们需要的是能接受所有输入然后预测出类别的函数,例如:在两个类的情况下,上述函数输出0或1,该函数称为海维塞德阶跃函数,或者直接称为单位阶跃函数。但是,海维塞德阶跃函数的问题在于:该函数在跳跃点上从0瞬间跳跃到1的过程有时很难处理。Sigmoid函数恰好具有类似的性质,并且数学上更加容易处理。Sigmoid函数公式如下:

基于最优化方法的最佳回归系数确定

所描述的 sigmoid 函数的输入将是 z,其中 z 由以下给出:z = 0 + 1 + 2 + ... + n

梯度上升法

思想:要找到某函数的最大值,最好的方法就是沿着该函数的梯度方向探寻。如果梯度记为▽,则函数f(x,y)的梯度由下表示:

 这个梯度意味着要沿x方向移动,沿着y的方向移动 。其中,函数f(x,y)必须要待在待计算的点上才有定义并且可微。

 训练算法:使用梯度上升找到最佳参数

梯度上升伪代码:
        每个回归系数初始化为1
        重复R次:
                计算整个数据集的梯度
                使用alpha×gradient更新回归系数的向量
                返回回归系数

Logistic回归梯度上升优化算法:

def loadDataSet():
    dataMat = []; labelMat = []
    fr = open('testSet.txt')
    for line in fr.readlines():
        lineArr = line.strip().split()
        dataMat.append([1.0, float(lineArr[0]), float(lineArr[1])])
        labelMat.append(int(lineArr[2]))
    return dataMat,labelMat

def sigmoid(inX):
    return 1.0/(1+numpy.exp(-inX))

def gradAscent(dataMatIn,classLabels):     #梯度下降算法
    dataMatrix=numpy.mat(dataMatIn)    #mat是转换为numpy的矩阵数据
    labelMat=numpy.mat(classLabels).transpose()  #矩阵转秩
    m,n=shape(dataMatrix)
    alpha=0.001
    maxCycles=500
    weights=numpy.ones((n,1))
    for k in range(maxCycles):
        h=sigmoid(dataMatrix*weights)   #h是一个列向量
        error=(labelMat-h)        #计算真实类别和预测类别的差值,按差值方向调整回归系数
        weights=weights+alpha*dataMatrix.transpose()*error
    return weights

自后进行测试:

weights = logRegres.gradAscent(dataArr, labelMat)
logRegres.plotBestFit(weights.getA())

显示结果:

可以看到结果只分错了2-4个点。

训练算法:随机梯度上升 

伪代码:
        所有回归系数初始化为1
        对数据集中每个样本
                计算该样本的梯度
                使用alpha×gradient更新回归系数值
        返回回归系数

随机梯度上升算法:

def stocGradAscent0(dataMatrix, classLabels):
    m,n = shape(dataMatrix)
    alpha = 0.01
    weights = numpy.ones(n)   #initialize to all ones
    for i in range(m):
        h = sigmoid(sum(dataMatrix[i]*weights))
        error = classLabels[i] - h
        weights = weights + alpha * error * dataMatrix[i]
    return weights

运行代码:

 显示结果:

可以看到与上一张图有点相似,但是不完美,因为分类器错分了三分之一的样本 

改进的随机梯度上升算法:

def stocGradAscent1(dataMatrix, classLabels, numIter=150):
    m,n = shape(dataMatrix)
    weights = numpy.ones(n)   #initialize to all ones
    for j in range(numIter):
        dataIndex = range(m)
        for i in range(m):
            alpha = 4/(1.0+j+i)+0.0001    #apha decreases with iteration, does not 
            randIndex = int(numpy.random.uniform(0,len(dataIndex)))#go to 0 because of the constant
            h = sigmoid(sum(dataMatrix[randIndex]*weights))
            error = classLabels[randIndex] - h
            weights = weights + alpha * error * dataMatrix[randIndex]
            del(dataIndex[randIndex])
    return weights

运行代码:

显示结果:

 

 可以看到该分割线达到了与GradientAscent()差不多的效果,但是所使用的的计算量更少。

实例:从疝气病症预测病马的死亡率

使用Logistic回归预测估计马疝气的死亡率

  1. 收集数据:课本上的数据集
  2. 准备数据:用python解析文本文件并填充缺失值
  3. 分析数据:可视化并观察数据
  4. 训练算法:使用优化算法,找到最佳的系数
  5. 测试算法:为了量化回归的效果,需要观察错误率。根据错误率决定是否回退到训练阶段,通过改变迭代的次数和步长等参数来得到更好地回归系数。

准备数据:处理数据中的缺失值

处理缺失值的方法

  • 使用可用特征的均值来填补缺失值
  • 使用特殊值来填补缺失值,如-1
  • 忽略有缺失值的样本
  • 使用相似样本的均值添补缺失值
  • 使用另外的机器学习算法预测缺失值

测试算法:用Logistic回归进行分类

Logistic回归分类函数:

def classifyVector(inX, weights):
    prob = sigmoid(sum(inX*weights))
    if prob > 0.5: return 1.0
    else: return 0.0

def colicTest():
    frTrain = open('horseColicTraining.txt'); frTest = open('horseColicTest.txt')
    trainingSet = []; trainingLabels = []
    for line in frTrain.readlines():
        currLine = line.strip().split('\t')
        lineArr =[]
        for i in range(21):
            lineArr.append(float(currLine[i]))
        trainingSet.append(lineArr)
        trainingLabels.append(float(currLine[21]))
    trainWeights = stocGradAscent1(numpy.array(trainingSet), trainingLabels, 1000)
    errorCount = 0; numTestVec = 0.0
    for line in frTest.readlines():
        numTestVec += 1.0
        currLine = line.strip().split('\t')
        lineArr =[]
        for i in range(21):
            lineArr.append(float(currLine[i]))
        if int(classifyVector(numpy.array(lineArr), trainWeights))!= int(currLine[21]):
            errorCount += 1
    errorRate = (float(errorCount)/numTestVec)
    print ("the error rate of this test is: %f" % errorRate)
    return errorRate

def multiTest():
    numTests = 10; errorSum=0.0
    for k in range(numTests):
        errorSum += colicTest()
    print ("after %d iterations the average error rate is: %f" % (numTests, errorSum/float(numTests)))
        

运行并观察结果:

 可以看到10次迭代后的平均错误率为35%,因为我们的测试数据有30%的缺失,所以这个错误率算是可以的了,可以通过调整colicTest()中的迭代次数和stochGradAscent1()中的步长来降低平均错误率

小结

        Logistic回归的目的是寻找一个非线性函数Sigmoid的最佳拟合参数,求解过程可以由最优化算法来完成。在最优化算法中,最常用的就是梯度上升算法,而梯度上升算法又可以简化为随机梯度上升算法。
        随机梯度上升算法与梯度上升算法的效果相当,但占用更少的计算资源。此外随机梯度上升是一个在线算法,它可以在新数据到来的时候就完成参数更新,而不需要重新读取整个数据集来进行批处理计算。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值