logistic回归

logistic回归

 

一、logistic回归是用来干什么的？
二、logistic回归的原理
三、算法
四、优化总结

 

一、用于二分类问题，比如分析一头牛犯病的可能性，犯病为1，不犯病为0，由犯病的概率来判断是否犯病；判断一封邮件是否是垃圾邮件；分析天气是否下雨。这些问题都是二分类问题。

二、以上二分类问题用函数表示的话，因变量不是1就是0，那么用海维赛德函数（单位阶跳跃函数）表示并不好来表达，无法表示因为概率来显示的结果，在0到1瞬间跳跃很难处理，于是就引进了sigmoid函数来进行分析。

 

将sigmoid函数扩展到多维面上，z就变成了一个向量ΘTX的，即：

X为变量，Θ为参数向量，ΘT是Θ的转置，由行变列。ΘTX为矩阵乘法。说白里就是在原有的基础上给各个特征乘上一个参数，再带入sigmoid函数中，结果大于0.5就为1，否则就为0。

现在的问题就是如何求这个Θ向量，就用到下面的梯度上升最优算法。

三、梯度上升最优算法

《机器学习实战》中并没有讲梯度上升算法中的梯度迭代公式的推导过程，只是讲解了Python的代码。

推导过程非常复杂和困难，这里我也只给出梯度迭代公式：

 

Θj经过无数次的迭代过程最终会得到要求的向量Θ，α为步长，x和y都是已知的训练集的数据。y为一组数据的分类结果，x为一组特征向量。Θj的初值是全为1的向量。

算法伪代码：

回归系数Θ初始化为1

规定步长α和迭代次数R

for循环R次

计算整个数据集的梯度和误差

使用梯度上升最优算法更新回归系数

返回回归系数

详见代码1

注意：1、矩阵相乘的条件，有几个地方是需要矩阵的转置

      2、α越小，R越大，精度越高，同时时间复杂度就越高

四、优化和总结

1、梯度上升算法不止这一种，《机器学习实战》中还给出了一种随机梯度上升算法，区别在于变量和误差都是向量，需要矩阵的转换，连步长都每次迭代更新调整，详见代码2。

2、优点：计算代价不高，易于理解和实现。

  缺点：容易欠拟合，分类精度可能不高。梯度迭代公式那推导，过程难理解。

 代码1：

# coding=utf-8

import numpy as np
from numpy import *
import random
from pylab import *

def getData():
    dataMat = []
    labelMat = []
    file = open(r'C:\Users\l\Desktop\testSet.txt', 'r+')
    for i in file.readlines():
        lineArr = i.strip().split()
        dataMat.append([1.0, float(lineArr[0]), float(lineArr[1])])
        labelMat.append(int(lineArr[2]))
    return dataMat, labelMat
#梯度上升优化算法
def gredAscent(x, y):
    x = np.mat(x)
    y = np.mat(y).transpose()
    print 'x:',x
    print 'y:',y
    m,n = x.shape
    a = 0.001
    num = 500
    w = np.ones((n, 1))
    for i in range(num):
        h = sigmoid(x*w)
        loss = y - h
        w = w + a*x.transpose()*loss
    return w

def sigmoid(Inx):
    return 1.0/(1+exp(-Inx))


def plotBestFit(weights):
    import matplotlib.pyplot as plt
    dataMat,labelMat=getData()
    dataArr = array(dataMat)
    n = shape(dataArr)[0] 
    xcord1 = []; ycord1 = []
    xcord2 = []; ycord2 = []
    for i in range(n):
        if int(labelMat[i])== 1:
            xcord1.append(dataArr[i,1]); ycord1.append(dataArr[i,2])
        else:
            xcord2.append(dataArr[i,1]); ycord2.append(dataArr[i,2])
    fig = plt.figure()
    ax = fig.add_subplot(111)
    ax.scatter(xcord1, ycord1, s=30, c='red', marker='s')
    ax.scatter(xcord2, ycord2, s=30, c='green')
    x = arange(-3.0, 3.0, 0.1)
    y = (-weights[0]-weights[1]*x)/weights[2]
    print x
    print y
    ax.plot(x, y)
    plt.xlabel('X1'); plt.ylabel('X2');
    plt.show()

def main():
    x, y = getData()
    w = gredAscent(x, y)#w为向量Θ
    print w
    plotBestFit(w.getA())

if __name__ == '__main__':
    main()
    

代码2：

#梯度上升优化算法
def bestgetgredAscent(x, y, num):
    n,m = shape(x)
    w = ones(m)
    for j in range(num):
        dataIndex = range(n)
        for i in range(n):
            a = 4/(1.0+j+i)+0.0001
            randIndx = int(np.random.uniform(0, len(dataIndex)))
            h = sigmoid(sum(x[randIndx]*w))
            loss = y[randIndx] - h
            w = w + np.dot(x[randIndx], a*loss)
            del(dataIndex[randIndx])
    return w