Logistic回归

Logistic回归

            假设现在有一些数据点，我们用一条直线对这些点进行拟合（该线称为最佳拟合直线），这个拟合过程就称作回归。利用Logistic回归进行分类的主要思想是：根据现有数据对分类边界线建立回归公式，以此进行分类。这里的“回归”一词源于最佳拟合，表示要找到最佳拟合参数集。
Logistic回归的一般过程
(1) 收集数据：采用任意方法收集数据。
(2) 准备数据：由于需要进行距离计算，因此要求数据类型为数值型。另外，结构化数据
格式则最佳。
(3) 分析数据：采用任意方法对数据进行分析。
(4) 训练算法：大部分时间将用于训练，训练的目的是为了找到最佳的分类回归系数。
(5) 测试算法：一旦训练步骤完成，分类将会很快。
(6) 使用算法：首先，我们需要输入一些数据，并将其转换成对应的结构化数值；接着，基于训练好的回归系数就可以对这些数值进行简单的回归计算，判定它们属于哪个类别；在这之后，我们就可以在输出的类别上做一些其他分析工作。

5.1 基于 Logistic 回归和 Sigmoid 函数的分类

Logistic回归：
            优点：计算代价不高，易于理解和实现。
            缺点：容易欠拟合，分类精度可能不高。
            适用数据类型：数值型和标称型数据。

            我们想要的函数应该是，能接受所有的输入然后预测出类别。例如，在两个类的情况下，上述函数输出0或1。因此我们选择是Sigmoid函数。

            当x轴范围足够大时，函数图像呈0-1.

             为了实现Logistic回归分类器，我们可以在每个特征上都乘以一个__回归系数__，然后把所有的结果值相加，将这个总和代入Sigmoid函数中，进而得到一个范围在0~1之间的数值。任何大于0.5的数据被分入1类，小于0.5即被归入0类。所以，Logistic回归也可以被看成是一种概率估计。

5.2 基于最优化方法的最佳回归系数确定

            Sigmoid函数的输入记为z，由下面公式得出：
                
                    如果采用向量的写法，上述公式可以写成z = wTx，它表示将这两个数值向量对应元素相乘然后全部加起来即得到z值。其中的向量x是分类器的输入数据，向量w也就是我们要找到的最佳参数（系数），从而使得分类器尽可能精确。

接下来如何得到最佳系数（w）？

5.2.1 梯度上升法

            梯度上升法基于的思想是：要找到某函数的最大值，最好的方法是沿着该函数的梯度方向探寻。如果梯度记为∇，则函数f(x,y)的梯度由下式表示：

梯度上升法常用来求最大值。梯度只是确定了方向，而步长表示移动量的大小，记为α。

可以设置迭代次数，或者一个可允许的误差范围来使迭代停止。

5.2.2 训练算法：使用梯度上升找到最佳参数

我们用真实类别与预测类别的差值来调整回归系数。

from numpy import *

def loadDataSet():
    dataMat=[]
    labelMat=[]
    fr=open('TestSet.txt')
    for line in fr.readlines():
        lineArr=line.strip().split()   #删除首尾空格，并分离
        dataMat.append([1.0,float(lineArr[0]),float(lineArr[1])])
        labelMat.append(int(lineArr[2]))  #类别向量
    return dataMat,labelMat

#sigmoid函数
def sigmoid(inX):
    return 1.0/(1+exp(-inX))

#
def gradAscent(dataMatIn,classLabels):
    dataMatrix=mat(dataMatIn)  #转化为矩阵，每组数据一行，每行为各自特征数据
    labelMat=mat(classLabels).transpose() #转置矩阵，转为列向量
    m,n=shape(dataMatrix)
    alpha=0.001   #步长
    maxCycles=500  #迭代次数
    weights=ones((n,1))
    for k in range(maxCycles): #迭代
        h=sigmoid(dataMatrix*weights)#dataMatrix*weights,对每行求和以列形式呈现
        error=labelMat-h  #计算实际与计算结果差值
        weights=weights+alpha*dataMatrix.transpose()*error #w+α*▼f,
                                        #此处按照该差值的方向调整回归系数
    return weights

5.2.3 分析数据：画出决策边界

回归系数确定了不同类别数据之间的分隔线，为了使优化过程便于理解，我们可以画出分割线。

#画出分割线
def plotBestFit(wei):  #?
    import matplotlib.pyplot as plt
    weights=wei
    dataMat,labelMat=loadDataSet()
    dataArr=array(dataMat)  #转换为数组
    n=shape(dataArr)[0]     #获取行数，即样本个数
    xcord1=[];ycord1=[]
    xcord2=[];ycord2=[]
    for i in range(n):
        if int(labelMat[i])==1:  #在类别1中
            xcord1.append(dataArr[i,1])
            ycord1.append(dataArr[i,2])
        else:                     #在类别0中
            xcord2.append(dataArr[i,1])
            ycord2.append(dataArr[i,2])
    fig=plt.figure()
    ax=fig.add_subplot(111)
    ax.scatter(xcord1,ycord1,s=30,c='red',marker='s') #画散点图
    ax.scatter(xcord2,ycord2,s=30,c='green')   #画散点图
    x=arange(-3.0,3.0,0.1)
    y=(-weights[0]-weights[1]*x)/weights[2]    #分割线
    ax.plot(x,y)
    plt.xlabel('X1')
    plt.ylabel('X2')
    plt.show()

5.2.4 训练算法：随机梯度上升

#随机梯度上升算法
def stocGradAscent0(dataMatrix,classLabels):
    m,n=shape(dataMatrix)
    alpha=0.01
    weights=ones(n)
    for i in range(m):
        h=sigmoid(sum(dataMatrix[i]*weights))
        error=classLabels[i]-h
        weights=weights+alpha*error*dataMatrix[i]
    return weights

由于没有进行迭代，所以分类错误较多。迭代次数越多，分类越准确。
优化：
（1）增加迭代次数
（2）随机选取样本，会减少周期性的波动

#随机梯度上升算法
def stocGradAscent0(dataMatrix,classLabels,numIter=150):
    m,n=shape(dataMatrix)
    weights=ones(n)
    for j in range(numIter):   #迭代
        dataIndex=list(range(m))   #样本索引
        for i in range(m):
            alpha=4/(1.0+j+i)+0.01  #每次调整，缓解波动
            randIndex=int(random.uniform(0,len(dataIndex)))  #随机抽取样本
            h=sigmoid(sum(dataMatrix[randIndex]*weights))
            error=classLabels[randIndex]-h
            weights=weights+alpha*error*dataMatrix[randIndex]
            del(dataIndex[randIndex]) #剔除样本索引
    return weights

5.3 示例：从疝气病症预测病马的死亡率

5.3.1 准备数据：处理数据中的缺失值

下面给出了一些可选的做法：
 使用可用特征的均值来填补缺失值；
 使用特殊值来填补缺失值，如1；  忽略有缺失值的样本；
 使用相似样本的均值添补缺失值；
 使用另外的机器学习算法预测缺失值。

对于本次数据缺失值，采用特殊值0来填补缺失值。

5.3.2 测试算法：用 Logistic 回归进行分类

#分类器
def classifyVector(inX,weights):
    prob=sigmoid(sum(inX*weights))
    if prob>0.5:
        return 1.0
    else:
        return 0.5

def coliTest():
    frTrain=open('HorseColicTraining.txt')
    frTest=open('HorseColicTest.txt')
    trainingSet=[]
    trainLabels=[]
    for line in frTrain.readlines():
        currLine=line.strip().split('\t')
        lineArr=[]
        for i in range(21):
            lineArr.append(float(currLine[i]))
        trainingSet.append(lineArr)
        trainLabels.append(float(currLine[21]))
    trainingWeights=stocGradAscent0(array(trainingSet),trainLabels)
    errorCount=0
    numTestVec=0.0
    for line in frTest.readlines():
        numTestVec+=1.0
        currLine=line.strip().split('\t')
        lineArr=[]
        for i in range(21):
            lineArr.append(float(currLine[i]))
        if int(classifyVector(array(lineArr),trainingWeights))!=int(currLine[21]):
            errorCount+=1
    errorRate=float(errorCount)/numTestVec
    print(errorRate)
    return errorRate

#
def multiTest():
    numTests=10
    errorSum=0.0
    for k in range(numTests):
        errorSum+=coliTest()
    print('after %d iterations ,the average error rate is: %f' %(numTests,errorSum/float(numTests)))
   
  

增加迭代次数能够降低错误率。样本数据缺失越少，错误率越低。

**

总结

                    Logistic回归的目的是寻找一个非线性函数Sigmoid的最佳拟合参数，求解过程可以由最优化算法来完成。在最优化算法中，最常用的就是梯度上升算法，而梯度上升算法又可以简化为随机梯度上升算法。
                    随机梯度上升算法与梯度上升算法的效果相当，但占用更少的计算资源。此外，随机梯度上升是一个在线算法，它可以在新数据到来时就完成参数更新，而不需要重新读取整个数据集来进行批处理运算。