写程序学ML：Logistic回归算法原理及实现（二）

最新推荐文章于 2024-07-16 21:43:08 发布

icamera0

最新推荐文章于 2024-07-16 21:43:08 发布

阅读量2.7k

点赞数

分类专栏：机器学习写程序学ML之《机器学习实战》文章标签： Logistic回归机器学习 python 算法

本文链接：https://blog.csdn.net/icamera0/article/details/78336718

版权

本文介绍了Logistic回归算法的实现，包括梯度上升算法的详细过程，并对比了批量梯度上升与随机梯度上升的差异。针对随机梯度上升的不足，提出了改进的算法，通过动态调整学习率和随机选择样本来优化性能，实现更稳定的收敛效果。

摘要由CSDN通过智能技术生成

2、Logistic回归算法的实现

2.1 Logistic算法的实现

首先，我们实现梯度上升算法。

Sigmoid函数的定义如下：

#sigmoid函数的实现
def sigmoid(inX):
    return 1.0 / (1 + exp(-inX))

定义函数gradAscent(dataMatIn, classLabels)实现梯度上升算法。它有两个形参，形参dataMatIn是一个二维数组，包含训练样本，每个样本有三个特征值。形参classLabels存储每个样本的分类情况。

此函数中调用函数mat()将两个形参转换成了NumPy矩阵，此处使用到了矩阵操作。为了获得最佳回归系数，使用了500次迭代。每次迭代时，将每个样本3个特征与回归系数的乘积累加和作为sigmoid函数的输入参数，求得每个样本的分类结果。然后与每个样本真实分类情况作差。最后利用梯度上升算法的迭代公式更新每个样本的各个特征值，更新步长为0.001。如果之前分类情况作差结果为1，则特征值增加原来的0.001倍；如果是-1，则特征值减少原来的0.001倍；如果是0，否则不做调整。

该函数的具体实现如下：

#dataMatIn：训练样本矩阵，每个样本包含3个特征值
#classLabels：训练样本对应的分类矩阵
#该函数利用梯度上升算法，产生经过多次调整后的回归系数
def gradAscent(dataMatIn, classLabels):
    dataMatrix = mat(dataMatIn) #调用mat()函数将数组