Logistic回归

• 主要思想：根据现有数据对分类边界线建立回归公式，以此进行分类。
• sigmoid函数
  计算公式如下：
  f(z)=1/(1+e^(-z)),它的特点在于当z为0时，Sigmoid函数值为0.5。 随着z的增大，对应的Sigmoid值将逼近于1；而随着z的减小，Sigmoid值将逼近于0，当横坐标足够大时，它看起来像一个单位阶跃函数。
• 实现Logistic回归分类器思路：
  在每个特征上都乘以一个回归系数，然后把 所有的结果值相加，将这个总和代入Sigmoid函数中，进而得到一个范围在0~1之间的数值。任 何大于0.5的数据被分入1类，小于0.5即被归入0类。

实现Logistic回归分类器

1. 梯度上升法确定最佳回归系数
   Sigmoid函数的输入记为z，按照上面的说法，z=W1X1+W2X2+…WnXn，其中W为回归系数，X为特征。
   而要使分类结果最优，自然就是要使1类的sigmoid函数值越接近1，即越大，0类的sigmoid函数值越接近0，即越小，转换一下，就是1-sigmoid（x）的值要越大，这样我们就只需求一个W，使得1类的sigmoid和0类的1-sigmoid最大，而对于求函数的最大值，就可以使用梯度上升法，相信学过高等数学或者数学分析的人都对梯度不陌生，这里就不介绍了。下面是书上给出的迭代公式：
   w=w+a（f（w）的梯度），其中a是步长，和迭代次数一样，是该分类器的参数，个人认为a越小，迭代次数越多，分类结果就越准确，但计算量也会随之增大。
   下面是计算最佳回归系数的代码：

def loadDataSet():
    dataMat=[];labelMat=[]
    fr=open('TestSet.txt')
    for line in fr.readlines():
        lineArr=line.strip().split()
        dataMat.append([1.0,float(lineArr[0]),float(lineArr[1])])
        labelMat.append(int(lineArr[2]))
    return dataMat,labelMat
def sigmoid(inX):
    return 1.0/(1+exp(-inX))
def gradAscent(dataMatIn,classLabels):
    dataMatrix=mat(dataMatIn)
    labelMat=mat(classLabels).transpose()
    m,n=shape(dataMatrix)
    alpha=0.001
    maxCycles=500
    weights=ones((n,1))
    for k in range(maxCycles):
        h=sigmoid(dataMatrix*weights)
        error=(labelMat-h)
        weights=weights+alpha*dataMatrix.transpose()*error
    return weights

最后几步的公式很巧妙，经过我的反推，代码中应该是把计算1类sigmoid和0类的1-sigmoid的最大值转换成了求其自然对数的最大值，然后用梯度上升法时的偏导刚好是error*x，感兴趣的可以自己验证一下（因为我不会插入数学公式，不好写出来）。这样减少了运算量。

2. 画出决策边界
   这里我就直接给出代码了

def plotBestFit(wei):
    import matplotlib.pyplot as plt
    weights=wei.getA()
    dataMat,labelMat=loadDataSet()
    dataArr=array(dataMat)
    n=shape(dataArr)[0]
    xcord1=[];ycord1=[]
    xcord2=[];ycord2=[]
    for i in range(n):
        if int(labelMat[i])==1:
            xcord1.append(dataArr[i,1]);ycord1.append(dataArr[i,2])
        else:
            xcord2.append(dataArr[i,1]);ycord2.append(dataArr[i,2])
    fig=plt.figure()
    ax=fig.add_subplot(111)
    ax.scatter(xcord1,ycord1,s=30,c='red',marker='s')
    ax.scatter(xcord2,ycord2,s=30,c='green')
    x=arange(-3.0,3.0,0.1)
    y=(-weights[0]-weights[1]*x)/weights[2]
    ax.plot(x,y)
    plt.xlabel('x1');plt.ylabel('x2')
    plt.show()