机器学习实战之Logistic回归（二）分类器的应用例子（含数据集）

最新推荐文章于 2021-11-21 21:32:43 发布

琼简

最新推荐文章于 2021-11-21 21:32:43 发布

阅读量1.5k

点赞数

文章标签： python 机器学习算法逻辑回归

本文链接：https://blog.csdn.net/weixin_45814668/article/details/106054198

版权

本文介绍了在Python环境下，使用梯度上升法训练Logistic回归模型，并分析数据以画出决策边界。通过示例数据集，展示了如何找到最佳参数并应用随机梯度上升法进行优化。最后，讨论了拟合曲线的不足之处，为后续改进奠定基础。

摘要由CSDN通过智能技术生成

转载请注明作者和出处：https://blog.csdn.net/weixin_45814668
微信公众号：qiongjian0427
知乎：https://www.zhihu.com/people/qiongjian0427
Github：https://github.com/qiongjian/Machine-learning/
运行环境：anaconda—jupyter notebook
Python版本： Python3.x

下图所示为数据集，提取码：ld9w。
在这里插入图片描述

训练算法：找到最佳参数

数据集有100个样本点，每个点包含两个数值型特征：X1和X2。

在此数据集上，我们将通过使用梯度上升法找到最佳回归系数，也就是拟合出Logistic回归模型的最佳参数。

梯度上升法的伪代码如下：

每个回归系数初始化为1
重复R次：
    计算整个数据集的梯度
    使用alpha*gradient更新回归系数的向量
返回回归系数

正式代码，在python中新建logRegres.ipynp的文件，输入下面代码。

from numpy import *

def loadDataSet():#函数功能为打开文本文件并逐行读取
    dataMat = [];labelMat = []
    fr = open('TestSet.txt')
    for line in fr.readlines():
        lineArr = line.strip().split()
        # 为了方便计算，我们将 X0 的值设为 1.0 ，也就是在每一行的开头添加一个 1.0 作为 X0
        dataMat.append([1.0, float(lineArr[0]), float(lineArr[1])])
        labelMat.append(int(lineArr[2]))
    return dataMat, labelMat

def sigmoid(inX):
    return 1.0/(1+exp(-inX))

#输入数据特征与数据的类别标签
def gradAscent(dataMatIn, classLabels):
    #转换为numpy型
    dataMatrix = mat(dataMatIn)