随机梯度上升

前言

前面通过梯度上升法实现求解最佳回归系数，虽然能够达到不错的效果，但是实现过程需要进行大量的计算(dataMatrix*weights进行了300次相乘，实现过程)。所以对该算法进行改进。

随机梯度上升算法

梯度上升算法在每次更新回归系数的时候，都需要遍历整个数据集，所以在处理小的数据集的时候还不错，一旦数据集过大，计算复杂度就太大了。
可以一次只用一个样本点来更新回归系数，这就是随机梯度上升算法。

1. 随机梯度上升

def stoc_grad_ascent(dataSet, labelSet, numIter=150):
    m, n = shape(dataSet)
    weights = ones(n)
    # 随机梯度，循环150次，看是否收敛
    for j in range(numIter):
        dataIndex = list(range(m))
        for i in range(m):
            alpha = 4/(1.0+j+i)+0.01
            randIndex = int(random.uniform(0, len(dataIndex)))
            h = sigmoid(sum(dataSet[randIndex] * weights))
            error = labelSet[randIndex] - h
            weights = weights + alpha * error * dataSet[randIndex]
            del (dataIndex[randIndex])
    return weights

通过对alpha的改进，使得alpha在每次迭代时都会调整，缓解了因不能正确分类的样本点引起的数据的波动。并且alpha因迭代而不断减少，但因常数项的存在，永远不会为0。通过随机选取样本点更新回归系数。

2. 完整代码

from numpy import *
from matplotlib import pyplot

def load_dataset():
    """加载数据集"""
    dataSet = []  # 数据
    labelSet = []  # 标签
    fr = open('lr-testSet.txt')
    for line in fr.readlines():
        lineArr = line.strip().split()
        if len(lineArr) == 1:
            continue
        # 为了便于后续计算，将数据集第一列值设为1.0
        dataSet.append([1.0, float(lineArr[0]), float(lineArr[1])])
        labelSet.append(int(lineArr[2]))
    return dataSet, labelSet


def sigmoid(inX):
    """sigmoid函数"""
    return 1.0 / (1 + exp(-inX))


def stoc_grad_ascent(dataSet, labelSet, numIter=150):
	"""随机梯度上升算法"""
    m, n = shape(dataSet)
    weights = ones(n)
    # 随机梯度，循环150次，看是否收敛
    for j in range(numIter):
        dataIndex = list(range(m))
        for i in range(m):
            alpha = 4/(1.0+j+i)+0.01
            randIndex = int(random.uniform(0, len(dataIndex)))
            h = sigmoid(sum(dataSet[randIndex] * weights))
            error = labelSet[randIndex] - h
            weights = weights + alpha * error * dataSet[randIndex]
            del (dataIndex[randIndex])
    return weights


def plot_best_fit(weights):
    """画样本点及逻辑回归拟合直线"""
    dataSet, labelSet = load_dataset()
    dataArr = array(dataSet)
    n = shape(dataArr)[0]  # 样本点个数(300)
    xcord1 = []
    ycord1 = []
    xcord2 = []
    ycord2 = []
    for i in range(n):
        if int(labelSet[i]) == 1:
            xcord1.append(dataArr[i, 1])
            ycord1.append(dataArr[i, 2])
        else:
            xcord2.append(dataArr[i, 1])
            ycord2.append(dataArr[i, 2])
    fig = pyplot.figure()
    ax = fig.add_subplot(111)
    # 1这类用红色方块表示
    ax.scatter(xcord1, ycord1, s=60, c="red", marker='s')
    # 0这类用绿色圆圈表示
    ax.scatter(xcord2, ycord2, s=60, c="green", marker="o")
    x = arange(-3.0, 3.0, 0.1)
    y = (-weights[0]-weights[1]*x)/weights[2]
    ax.plot(x, y)
    pyplot.xlabel('X1')
    pyplot.ylabel('X2')
    pyplot.show()


# 测试
dataSet, labelSet = load_dataset()
lr_w = stoc_grad_ascent(array(dataSet), labelSet)
print("最佳回归系数：\n", lr_w)
plot_best_fit(lr_w)

输出结果

最佳回归系数：
 [14.30257775  1.1537873  -2.16134931]

可视化结果：