机器学习实战代码-逻辑回归

机器学习实战代码-逻辑回归

前文：此文为本人的学习记录，前段时间结合西瓜书和机器学习实战两本书初步学习十大经典算法。最近因为阿里云天池的龙珠训练营课程需要做笔记，所以把用到的逻辑回归算法的代码顺便上传一下。机器学习实战代码-python3.6。

注：代码是在python3.6下进行的，并结合了个人习惯，对机器学习实战一书中的代码进行了轻微改动。

一、参数更新公式推导

公式推导主要借鉴了西瓜书以及此文（链接: Logistic回归基础篇之梯度上升算法），这是我第一次发CSDN，所以我就简单发个我手写的吧哈哈哈(看不太懂的时候可以看看链接文章)。字丑且随意，见谅。

二、代码

1、梯度上升优化参数

这里就是一些很常规的东西啦。唯独需要注意的是参数更新时利用的是全部的数据集，其实本质就是批量梯度下降（BGD）（可以看一下此文：三种原始梯度下降方法）

"""
@author: shencx
@time: 2021/6/28 0028 下午 7:32
@desc: 机器学习实战第五章-逻辑回归。代码基本一致，存在小的改动。注意，逻辑回归属于分类技术。
"""
from numpy import *
import matplotlib.pyplot as plt


def loadDataSet():
    data = []
    label = []
    fr = open('testSet.txt')
    for lines in fr.readlines():
        line = lines.strip().split()
        data.append([1.0, float(line[0]), float(line[1])])
        label.append(int(line[2]))
    fr.close()
    return data, label


def sigmoid(inx):
    if inx >= 0:
        return 1.0 / (1 + exp(-inx))
    else:
        return exp(inx) / (1 + exp(inx))      # 为了防止发生溢出（提示Runtimewarning）


def gradient(dataIn, labelIn):
    dataMatrix = mat(dataIn)
    labelMatrix = mat(labelIn).transpose()
    alpha = 0.001
    cycles = 500
    _, n = dataMatrix.shape
    weights = ones((n, 1))
    for cy in range(cycles):
        pre = sigmoid(dataMatrix * weights)
        error = labelMatrix - pre
        weights = weights + alpha * dataMatrix.transpose() * error  # 同上一行共同形成梯度更新的公式，公式推导利用了最大似然估计和梯度上升。
    return weights                                                  # 整体采用了批量法，权重的更新利用向量形式同步进行。


def plotBestFit(weights):
    dataMat, labelMat = loadDataSet()
    #dataMat = array(dataMat)
    n = array(dataMat).shape[0]
    xc1, yc1, xc2, yc2 = [], [], [], []
    for i in range(n):
        if int(labelMat[i]) == 1:
            xc1.append(dataMat[i][1])                               # 可以用array形式，[][]或[,]来提取对应数值均可。
            yc1.append(dataMat[i][2])
        else:
            xc2.append(dataMat[i][1])
            yc2.append(dataMat[i][2])
    fig = plt.figure()
    ax = fig.add_subplot(111)
    ax.scatter(xc1, yc1, c='y', s=20)
    ax.scatter(xc2, yc2, c='b', s=20)
    x = arange(-3, 3, 0.1)
    y = (-weights[0] - weights[1]*x)/weights[2]        # 此处的y并不是输出，此行代码描绘的最佳分割线，是基于0=WX得到的。从下方所命名的横纵标题也可以看出
    y = y.transpose()
    ax.plot(x, y)
    plt.xlabel('x1')
    plt.ylabel('x2')
    plt.show()

2、随机梯度上升及其改进

随机梯度上升（本质也就是SGD（随机梯度下降））就是每次选择一个样本进行参数更新，当然它的优缺点请看上个链接文章，他们写的更全更准确。

def stroGradient(InData, InLabel):
    InData1 = array(InData)
    m, n = InData1.shape
    alpha = 0.01    # 学习率设为0.001时效果很差
    weights = ones(n)
    for i in range(m):
        h = sigmoid(sum(InData1[i] * weights))
        error = InLabel[i] - h
        weights = weights + alpha * InData1[i] * error
    return weights


def stroGradientIm(Datain, Labelin, numInter=150):
    Datain1 = array(Datain)
    m, n = Datain1.shape
    weights = ones(n)
    for j in range(numInter):
        dataIndex = m
        for i in range(m):
            alpha = 4/(1 + j + i) + 0.01
            index = int(random.uniform(0, dataIndex))  # 原文使用了len(dataIndex),但对原文中以dataIndex=range(m)和del来实现的目的并不清楚。因为整个dataIndex只是用来生成随机数的上限。
            h = sigmoid(sum(Datain1[index] * weights))
            error = Labelin[index] - h
            weights = weights + alpha * error * Datain1[index]
            dataIndex -= 1
    return weights

3、实例分析

这里用到了马疝病数据集。另外，上边只展示了如何得到逻辑回归模型的参数，那么如何使用逻辑回归模型在本处代码进行了展示。

# 马疝病数据集
def classify(inx, weights):
    pre = sigmoid(sum(inx * weights))
    if pre > 0.5:
        return 1.0
    else:
        return 0.0


def TestColic():
    FrTrain = open('horseColicTraining.txt')
    FrTest = open('horseColicTest.txt')
    # 进入训练阶段，获取最佳回归参数
    TrainSet = []
    TrainLabel = []
    for line in FrTrain.readlines():           # 这种方式不容易出错，但是似乎有更简便的方法。
        curLine = line.strip().split('\t')     # 这时已经是列表类型，内部应该是字符串格式。readlines返回的是列表，方便遍历。
        lineArr = []
        for i in range(len(curLine)):
            lineArr.append(float(curLine[i]))  # 不转还是字符串格式，无法进行计算。而且代码中多个变量以及数据本身都是浮点型，同时涉及混合计算，所以转成浮点型更合适。
        TrainSet.append(lineArr)
        TrainLabel.append(float(curLine[-1]))
    TrainWeight = stroGradientIm(TrainSet, TrainLabel, 500)
    # 进入测试阶段
    error_num = 0
    sam_num = 0
    for line in FrTest.readlines():　＃ 样本逐个进行测试
        sam_num += 1
        curLine = line.strip().split('\t')
        lineArr = []
        for i in range(len(curLine)):
            lineArr.append(float(curLine[i]))
        pre_label = classify(lineArr, TrainWeight)
        if int(pre_label) != int(curLine[-1]):
            error_num += 1
    error_rate = float(error_num/sam_num)
    print('the error rate of the test dataset is {}'.format(error_rate))
    return error_rate


def MulTest():
    num_iter = 10
    error_sum = 0
    for i in range(num_iter):
        error_sum += TestColic()
    print('after {} iterations, the average error rate is {}'.format(num_iter, error_sum/float(num_iter)))  # error_sum是浮点型


if __name__ == '__main__':
    data, label = loadDataSet()  # 返回的是列表类型，后边计算都是mat矩阵或者是numpy数组
    # weight = stroGradient(data, label)
    weight = stroGradientIm(data, label, numInter=150)
    # weight = gradient(data, label)
    plotBestFit(weight)
    # MulTest()  # 测试结果与书内并不一致，未找到原因

4、题外话

我想能够看到这篇文章的朋友大多是刚开始机器学习，在这里衷心希望如果朋友你真的对机器学习以及深度学习有兴趣，并且未来希望从事该行业，还是要自己推导公式，多敲一些代码。虽然现在有很多的库，但是只有真正从底层做起，才能真正理解这些算法的精妙之处，也才能灵活的、最大化的利用它们。好吧，其实我也才研三哈哈哈哈哈。我也在虚心学习。这是我的第一个CSDN文章，也是写着玩的，但是是用心的。