机器学习----逻辑回归 (Logistic Regression)算法原理及python实现

最新推荐文章于 2024-03-21 10:36:34 发布
最新推荐文章于 2024-03-21 10:36:34 发布
阅读量2.3k 收藏 11
点赞数 3
分类专栏： 机器学习 算法实现 文章标签： 机器学习 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43580130/article/details/107826182
版权
  • 逻辑回归（Logistic regression） 与线性回归类似，但它是用于输出为二进制的情况（即，当结果只能有两个可能的值）。一般用于需要明确输出的场景，如某些事件的发生（预测是否会发生降雨）。

通常，逻辑回归使用某种函数将概率值压缩到某一特定范围。对最终输出的预测是一个非线性的 S 型函数，称为 logistic function, g()。

这个逻辑函数将中间结果值映射到结果变量 Y，其值范围从 0 到 1。然后，这些值可以解释为 Y 出现的概率。S 型逻辑函数的性质使得逻辑回归更适合用于分类任务。

python实现代码如下所示：（参考https://www.cnblogs.com/luozeng/p/8605140.html）

from numpy import *
filename= 'LogisticRegressionSet.txt'  #文件目录

def loadDataSet():   #读取数据（这里只有两个特征）
    dataMat = []
    labelMat = []
    fr = open(filename)
    for line in fr.readlines():
        lineArr = line.strip().split()
        dataMat.append([1.0, float(lineArr[0]), float(lineArr[1])])   #前面的1，表示方程的常量。比如两个特征X1,X2，共需要三个参数，W1+W2*X1+W3*X2
        labelMat.append(int(lineArr[2]))
    return dataMat,labelMat

def sigmoid(inX):  #sigmoid函数
    return 1.0/(1+exp(-inX))

def gradAscent(dataMat, labelMat): #梯度上升求最优参数
    dataMatrix=mat(dataMat) #将读取的数据转换为矩阵
    classLabels=mat(labelMat).transpose() #将读取的数据转换为矩阵
    m,n = shape(dataMatrix)
    alpha = 0.001  #设置梯度的阀值，该值越大梯度上升幅度越大
    maxCycles = 500 #设置迭代的次数，一般看实际数据进行设定，有些可能200次就够了
    weights = ones((n,1)) #设置初始的参数，并都赋默认值为1。注意这里权重以矩阵形式表示三个参数。
    for k in range(maxCycles):
        h = sigmoid(dataMatrix*weights)
        error = (classLabels - h)     #求导后差值
        weights = weights + alpha * dataMatrix.transpose()* error #迭代更新权重
    return weights

def stocGradAscent0(dataMat, labelMat):  #随机梯度上升，当数据量比较大时，每次迭代都选择全量数据进行计算，计算量会非常大。所以采用每次迭代中一次只选择其中的一行数据进行更新权重。
    dataMatrix=mat(dataMat)
    classLabels=labelMat
    m,n=shape(dataMatrix)
    alpha=0.01
    maxCycles = 500
    weights=ones((n,1))
    for k in range(maxCycles):
        for i in range(m): #遍历计算每一行
            h = sigmoid(sum(dataMatrix[i] * weights))
            error = classLabels[i] - h
            weights = weights + alpha * error * dataMatrix[i].transpose()
    return weights

def stocGradAscent1(dataMat, labelMat): #改进版随机梯度上升，在每次迭代中随机选择样本来更新权重，并且随迭代次数增加，权重变化越小。
    dataMatrix=mat(dataMat)
    classLabels=labelMat
    m,n=shape(dataMatrix)
    weights=ones((n,1))
    maxCycles=500
    for j in range(maxCycles): #迭代
        dataIndex=[i for i in range(m)]
        for i in range(m): #随机遍历每一行
            alpha=4/(1+j+i)+0.0001  #随迭代次数增加，权重变化越小。
            randIndex=int(random.uniform(0,len(dataIndex)))  #随机抽样
            h=sigmoid(sum(dataMatrix[randIndex]*weights))
            error=classLabels[randIndex]-h
            weights=weights+alpha*error*dataMatrix[randIndex].transpose()
            del(dataIndex[randIndex]) #去除已经抽取的样本
    return weights

def plotBestFit(weights):  #画出最终分类的图
    import matplotlib.pyplot as plt
    dataMat,labelMat=loadDataSet()
    dataArr = array(dataMat)
    n = shape(dataArr)[0]
    xcord1 = []; ycord1 = []
    xcord2 = []; ycord2 = []
    for i in range(n):
        if int(labelMat[i])== 1:
            xcord1.append(dataArr[i,1])
            ycord1.append(dataArr[i,2])
        else:
            xcord2.append(dataArr[i,1])
            ycord2.append(dataArr[i,2])
    fig = plt.figure()
    ax = fig.add_subplot(111)
    ax.scatter(xcord1, ycord1, s=30, c='red', marker='s')
    ax.scatter(xcord2, ycord2, s=30, c='green')
    x = arange(-3.0, 3.0, 0.1)
    y = (-weights[0]-weights[1]*x)/weights[2]
    ax.plot(x, y)
    plt.xlabel('X1')
    plt.ylabel('X2')
    plt.show()

def main():
    dataMat, labelMat = loadDataSet()
    weights=gradAscent(dataMat, labelMat).getA()
    plotBestFit(weights)

if __name__=='__main__':
    main()

其中用到的 LogisticRegressionSet.txt 中的数据为：

-0.017612   14.053064   0
-1.395634   4.662541    1
-0.752157   6.538620    0
-1.322371   7.152853    0
0.423363    11.054677   0
0.406704    7.067335    1
0.667394    12.741452   0
-2.460150   6.866805    1
0.569411    9.548755    0
-0.026632   10.427743   0
0.850433    6.920334    1
1.347183    13.175500   0
1.176813    3.167020    1
-1.781871   9.097953    0
-0.566606   5.749003    1
0.931635    1.589505    1
-0.024205   6.151823    1
-0.036453   2.690988    1
-0.196949   0.444165    1
1.014459    5.754399    1
1.985298    3.230619    1
-1.693453   -0.557540   1
-0.576525   11.778922   0
-0.346811   -1.678730   1
-2.124484   2.672471    1
1.217916    9.597015    0
-0.733928   9.098687    0
-3.642001   -1.618087   1
0.315985    3.523953    1
1.416614    9.619232    0
-0.386323   3.989286    1
0.556921    8.294984    1
1.224863    11.587360   0
-1.347803   -2.406051   1
1.196604    4.951851    1
0.275221    9.543647    0
0.470575    9.332488    0
-1.889567   9.542662    0
-1.527893   12.150579   0
-1.185247   11.309318   0
-0.445678   3.297303    1
1.042222    6.105155    1
-0.618787   10.320986   0
1.152083    0.548467    1
0.828534    2.676045    1
-1.237728   10.549033   0
-0.683565   -2.166125   1
0.229456    5.921938    1
-0.959885   11.555336   0
0.492911    10.993324   0
0.184992    8.721488    0
-0.355715   10.325976   0
-0.397822   8.058397    0
0.824839    13.730343   0
1.507278    5.027866    1
0.099671    6.835839    1
-0.344008   10.717485   0
1.785928    7.718645    1
-0.918801   11.560217   0
-0.364009   4.747300    1
-0.841722   4.119083    1
0.490426    1.960539    1
-0.007194   9.075792    0
0.356107    12.447863   0
0.342578    12.281162   0
-0.810823   -1.466018   1
2.530777    6.476801    1
1.296683    11.607559   0
0.475487    12.040035   0
-0.783277   11.009725   0
0.074798    11.023650   0
-1.337472   0.468339    1
-0.102781   13.763651   0
-0.147324   2.874846    1
0.518389    9.887035    0
1.015399    7.571882    0
-1.658086   -0.027255   1
1.319944    2.171228    1
2.056216    5.019981    1
-0.851633   4.375691    1
-1.510047   6.061992    0
-1.076637   -3.181888   1
1.821096    10.283990   0
3.010150    8.401766    1
-1.099458   1.688274    1
-0.834872   -1.733869   1
-0.846637   3.849075    1
1.400102    12.628781   0
1.752842    5.468166    1
0.078557    0.059736    1
0.089392    -0.715300   1
1.825662    12.693808   0
0.197445    9.744638    0
0.126117    0.922311    1
-0.679797   1.220530    1
0.677983    2.556666    1
0.761349    10.693862   0
-2.168791   0.143632    1
1.388610    9.341997    0
0.317029    14.739025   0

运行后输出的图片：（总感觉有点小问题，不太稳定）
在这里插入图片描述

刘星星儿
关注
  • 3
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python实现逻辑回归(Logistic Regression)
CSDN 精品推荐
03-26 2万+
逻辑回归是一种经典机器学习分类算法，它被广泛应用于二元分类问题中，该算法的目的是预测二元输出变量（比如0和1），逻辑回归算法有很多应用，比如预测股票市场、客户购买行为、疾病诊断等等。它被广泛应用于医学、金融、社交网络、搜索引擎等各个领域。
机器学习算法与Python实践之（七）逻辑回归（Logistic Regression）
wenyusuran的专栏
05-14 4239
机器学习算法与Python实践这个系列主要是参考《机器学习实战》这本书。因为自己想学习Python，然后也想对一些机器学习算法加深下了解，所以就想通过Python来实现几个比较常用的机器学习算法。恰好遇见这本同样定位的书籍，所以就参考这本书的过程来学习了。        这节学习的是逻辑回归（Logistic Regression），也算进入了比较正统的机器学习算法。啥叫正统呢？我概念里面机器学
Python实现逻辑回归（LogisticRegression）完整过程
热门推荐
Trisyp的博客
04-15 3万+
最近正在做的项目正好利用到了逻辑回归，所以正好系统的学习了下，本篇博文把自己的学习笔记、项目思路及代码都记录下来。它的计算原理很多网站和书籍都有介绍，就不在这班门弄斧了，主要还是记录自己如何实现 一、逻辑回归简介 Logistic Regression算法是通过训练数据中的正负样本，学习样本特征和样本标签的假设函数，它是典型的线性分类器，是广义线性模型的一种。它具有很强的可解释性，应用也非常广泛...
Logistic回归模型的最大似然估计和偏差减少的性质
06-05
估计逻辑回归模型时经常遇到的问题是似然最大化算法无法收敛。 尽管在对逻辑回归的参数的最大似然估计进行偏差校正时非常流行并且建立得很好，但是对最大似然方法的行为和性质的研究较少。 本文的主要目的是利用归约技术研究参数估计方法的行为和性质。 我们将重点介绍一种使用修正得分函数来减少最大似然估计值偏差的方法。 我们还通过不同样本量和结果变量概率百分比的模拟数据提供了有趣的新示例。
【理论+案例实战】Python数据分析之逻辑回归（logistic regression）
wuyy0224的博客
01-31 1万+
简介： 逻辑回归是分类当中极为常用的手段，它属于概率型非线性回归，分为二分类和多分类的回归模型。对于二分类的logistic回归，因变量y只有“是”和“否”两个取值，记为1和0。假设在自变量x1,x2,……,xp，作用下，y取“是”的概率是p，则取“否”的概率是1-p。 逻辑回归是分类当中极为常用的手段，它属于概率型非线性回归，分为二分类和多分类的回归模型。对于二分类的logistic回归，因变量y只有“是”和“否”两个取值，记为1和0。假设在自变量x1,x2,……,xp，作用下，y取“是”的概率是p，则
案例实战：Python实现逻辑回归(Logistic Regression)与梯度下降策略
bigcindy的博客
06-09 7577
0. 案例背景 我们将建立一个逻辑回归模型来预测一个学生是否被大学录取。假设你是一个大学系的管理员，你想根据两次考试的结果来决定每个申请人的录取机会。你有以前的申请人的历史数据，你可以用它作为逻辑回归的训练集。对于每一个培训例子，你有两个考试的申请人的分数和录取决定。为了做到这一点，我们将建立一个分类模型，根据考试成绩估计入学概率。 1. 导入pythony库 #导入机器学习三大件：Numpy, Pandas, Matplotlib import numpy as np import pandas
Logistic Regression 原理及推导 python实现
张张的专栏
02-15 1万+
一、问题引入首先，Logistic回归是一种广义的线性回归模型，主要用于解决二分类问题。比如，现在我们有N个样本点，每个样本点有两维特征x1和x2，在直角坐标系中画出这N个样本的散点图如下图所示， 蓝色和红色分别代表两类样本。现在我们的目标是，根据这N个样本所表现出的特征以及他们各自对应的标签，拟合出一条直线对两类样本进行分类，直线的上侧属于第一类，直线的下侧属于第二类。那么我们如何寻找这条直
机器学习必备算法之(一)逻辑回归(logistics regression)及Python实现
小白胖爱学习-的博客
02-13 4070
笔者为数学系在校学生，最近系统的在复习机器学习以及一些深度学习的内容，准备开个博记录一下这个有趣又痛苦的过程~hiahiahia，主要记录机器学习的几大经典算法的理论以及Python的实现。非计算机的大神！！！代码可能不会太牛(求轻喷，暴风哭泣)。话不多说，就从逻辑回归开始吧。 线性回归 首先我们来说说什么是线性回归。给定一个数据集D={(x1,y1),…,(xm,ym)}D=\{(x_1,y_1...
机器学习-逻辑回归分析（Python）
02-24
回归和分类方法是机器学习中经常用到的方法区分回归问题和分类问题：回归问题：输入变量和输出变量均为连续变量的问题；分类问题：输出变量为有限个离散变量的问题。因此分类及回归分别为研究这两类问题的方法。区别...
ex2-logistic regression_逻辑回归_机器学习_逻辑回归python_python_
10-03
在标签"逻辑回归 机器学习 逻辑回归python python"中，我们可以看到这个主题不仅涉及机器学习的基本概念，还强调了Python编程语言在实现逻辑回归中的应用。在实际操作中，Python的Scikit-learn库提供了易于使用的...
机器学习算法之使用Python实现LogisticRegression算法.zip
最新发布
04-20
Logistic Regression，逻辑回归，是机器学习中一种广泛使用的分类算法。它虽然名字中含有“回归”，但实际上主要用于解决二分类或多分类问题。在Python中，我们可以使用Scikit-Learn库来轻松实现Logistic Regression...
机器学习系列7 基于Python的Scikit-learn库构建逻辑回归模型
05-02
在本篇讲解中，我们将深入探讨如何利用Python的...逻辑回归虽简单，但却是机器学习领域中的基石，通过它你可以进一步探索其他更复杂的分类和回归算法。在Scikit-learn中，还有许多其他优秀的算法等待你去发掘和实践。
机器学习算法之使用Python实现逻辑回归算法.zip
04-20
在机器学习领域，逻辑回归（Logistic Regression）是一种广泛应用的分类算法，尤其适用于二分类问题。本教程将探讨如何利用Python编程语言实现逻辑回归算法。Python因其简洁的语法和丰富的库支持，成为数据科学和...
Python实现Logistic Regression（逻辑回归模型）算法
象在舞的技术专栏
07-27 1万+
声明：代码的运行环境为Python3。Python3与Python2在一些细节上会有所不同，希望广大读者注意。本博客以代码为主，代码中会有详细的注释。相关文章将会发布在我的个人博客专栏《Python从入门到深度学习》，欢迎大家关注~ Logistic Regression算法是一个分类算法，分类算法是一种监督学习算法，它是指根据样本的特征，将样本划分到指定的类别中。L...
机器学习Python学习——逻辑斯蒂回归（Logistic Regression）
m0_52868215的博客
11-22 7105
1. 基本概念 Logistic回归也是一种分类方法，用于两分类问题。其基本思想为：（1）寻找合适的假设函数，即分类函数，用以预测输入数据的判断结果；（2）构造代价函数，即损失函数，用以表示预测的输出结果与训练数据的实际类别之间的偏差；（3）最小化代价函数，从而获取最优的模型参数。 Logistics回归的目的是寻找一个非线性函数Sigmoid的最佳拟合参数，求解过程可以由最优化算法来完成。在最优化算法中，最常用的就是梯度上升算法，而梯度上升算法又可以简化为随机...
【机器学习-07】逻辑回归（Logistic Regression，LR）算法：原理、应用与实现
qq_38614074的博客
03-21 1万+
对于二分类问题，假设我们有一个数据集，其中包含mmm个样本。每个样本由输入特征向量xxx和对应的实际类别yyy组成。我们希望通过逻辑回归模型来预测样本的类别。假设存在一条直线（或超平面），可以将数据集中的样本完全分开。zθ0θ1x1θ2x2θnxnzθ0​θ1​x1​θ2​x2​θn​xn​其中，zzz表示线性模型的输出，θ0θ1θnθθ0​θ1​θn​θ表示模型的参数，x1x。
logistic_regression---python实现
leemusk的博客
11-17 7119
logistic regression（用python实现） logistic 回归，虽然名字里有 “回归” 二字，但实际上是解决分类问题的一类线性模型。在某些文献中，logistic 回归又被称作 logit 回归，maximum-entropy classification（MaxEnt，最大熵分类），或 log-linear classifier（对数线性分类器）。该模型利用函数 logis...
Logistic回归（python实现）
Nick
12-26 6234
一、逻辑回归（LogisticRegression）        Logistic regression （逻辑回归）是当前业界比较常用的机器学习方法，用于估计某种事物的可能性。之前在经典之作《数学之美》中也看到了它用于广告预测，也就是根据某广告被用户点击的可能性，把最可能被用户点击的广告摆在用户能看到的地方，然后叫他“你点我啊！”用户点了，你就有钱收了。这就是为什么我们的电脑现在广告泛滥的原...
逻辑回归logistic原理（python代码实现）
09-13
逻辑回归是一种用于分类问题的机器学习算法，其原理是基于线性回归的思想，通过使用逻辑函数（也称为sigmoid函数）将预测结果映射到[0,1]之间的概率值。以下是一个使用Python实现逻辑回归的示例代码： ```python import numpy as np import matplotlib.pyplot as plt # 定义sigmoid函数 def sigmoid(z): return 1 / (1 + np.exp(-z)) # 定义损失函数 def loss(h, y): return (-y * np.log(h) - (1 - y) * np.log(1 - h)).mean() # 定义逻辑回归模型 class LogisticRegression: def __init__(self, lr=0.01, num_iter=100000, fit_intercept=True, verbose=False): self.lr = lr self.num_iter = num_iter self.fit_intercept = fit_intercept self.verbose = verbose def add_intercept(self, X): intercept = np.ones((X.shape[0], 1)) return np.concatenate((intercept, X), axis=1) def fit(self, X, y): if self.fit_intercept: X = self.add_intercept(X) # 初始化权重参数 self.theta = np.zeros(X.shape[1]) for i in range(self.num_iter): z = np.dot(X, self.theta) h = sigmoid(z) gradient = np.dot(X.T, (h - y)) / y.size self.theta -= self.lr * gradient if(self.verbose == True and i % 10000 == 0): z = np.dot(X, self.theta) h = sigmoid(z) print(f'loss: {loss(h, y)}') def predict_prob(self, X): if self.fit_intercept: X = self.add_intercept(X) return sigmoid(np.dot(X, self.theta)) def predict(self, X, threshold=0.5): return self.predict_prob(X) >= threshold # 示例：使用逻辑回归对二分类数据进行训练和预测 from sklearn.datasets import make_classification from sklearn.model_selection import train_test_split # 生成二分类数据集 X, y = make_classification(n_samples=100, n_features=2, n_informative=2, n_redundant=0, random_state=42) # 将数据集划分为训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # 创建逻辑回归模型并进行训练 model = LogisticRegression(lr=0.1, num_iter=300000) model.fit(X_train, y_train) # 在测试集上进行预测 y_pred = model.predict(X_test) # 计算准确率 accuracy = (y_pred == y_test).mean() print(f'Accuracy: {accuracy}') ``` 这段代码首先定义了sigmoid函数和损失函数，然后实现了一个LogisticRegression类，其中包含了fit方法用于训练模型，以及predict_prob和predict方法用于预测。最后，示例代码使用sklearn库生成了一个二分类数据集，将数据集划分为训练集和测试集，并使用逻辑回归模型进行训练和预测。最后计算了预测的准确率。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值