第21步 机器学习分类实战：Logistic回归建模（下）

已于 2023-06-05 10:52:56 修改
阅读量1.5k 收藏 21
点赞数
文章标签： 机器学习 回归 分类 python 逻辑回归
于 2023-02-19 12:15:27 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_30452897/article/details/129109141
版权

文章目录

前言

我们继续

二、SPSSPRO调参

介绍一款傻瓜软件，SPSSPRO，过适合快速建模。

下载网址：https://www.spsspro.com/client/

（1）正常安装，打开软件：
在这里插入图片描述
（2）扫码注册或者登陆：
在这里插入图片描述
（3）新建分析项目——上传文件（要分析的数据）——开始处理：

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
（3）左边有一些功能，大家自行探索了，我们直接点击数据分析去建模：
在这里插入图片描述
（4）点击左边“机器学习分类”——“逻辑回归”：
在这里插入图片描述

（5）按照下图操作吧：

在这里插入图片描述
在这里插入图片描述

（6）其他默认，点开始分析试试，输出一系列结果，惨不忍睹：

在这里插入图片描述

在这里插入图片描述
（7）再继续调整一下参数，比如设置“数据洗牌”，点击“更多设置”，自动寻找参数功能，大家自己探索了，我随便搞搞：

在这里插入图片描述
在这里插入图片描述在这里插入图片描述

结果如下：

在这里插入图片描述
在这里插入图片描述

总结一下：用SPSSPRO输出的测试结果跟python差不多，都是准确率81%左右；还提供其他结果，不过呢，相对局限，毕竟AUC和ROC没看到。还是老老实实学python吧。

三、模型评价

SPSSPRO只是娱乐娱乐，快速建模初步看看，发文章还得回归python呀。
直接丢出代码了哈：

（A）混淆矩阵及其可视化：

y_pred = classifier.predict(X_test)
y_testprba = classifier.predict_proba(X_test)[:,1] 
y_trainpred = classifier.predict(X_train)
y_trainprba = classifier.predict_proba(X_train)[:,1]

from sklearn.metrics import confusion_matrix
cm_test = confusion_matrix(y_test, y_pred)
cm_train = confusion_matrix(y_train, y_trainpred)
print(cm_train)
print(cm_test)

#绘画测试集混淆矩阵
classes = list(set(y_test))
classes.sort()
plt.imshow(cm_test, cmap=plt.cm.Blues)
indices = range(len(cm_test))
plt.xticks(indices, classes)
plt.yticks(indices, classes)
plt.colorbar()
plt.xlabel('guess')
plt.ylabel('fact')
for first_index in range(len(cm_test)):
    for second_index in range(len(cm_test[first_index])):
        plt.text(first_index, second_index, cm_test[first_index][second_index])
plt.show()
#绘画训练集混淆矩阵
classes = list(set(y_train))
classes.sort()
plt.imshow(cm_train, cmap=plt.cm.Blues)
indices = range(len(cm_train))
plt.xticks(indices, classes)
plt.yticks(indices, classes)
plt.colorbar()
plt.xlabel('guess')
plt.ylabel('fact')
for first_index in range(len(cm_train)):
    for second_index in range(len(cm_train[first_index])):
        plt.text(first_index, second_index, cm_train[first_index][second_index])
plt.show()

（B）灵敏度、特异度等数值型指标：

import math
from sklearn.metrics import confusion_matrix,roc_auc_score,auc,roc_curve
cm = confusion_matrix(y_test, y_pred)    
cm_train = confusion_matrix(y_train, y_trainpred)
#测试集的参数
a = cm[0,0]
b = cm[0,1]
c = cm[1,0]
d = cm[1,1]
acc = (a+d)/(a+b+c+d)
error_rate = 1 - acc
sen = d/(d+c)
sep = a/(a+b)
precision = d/(b+d)
F1 = (2*precision*sen)/(precision+sen)
MCC = (d*a-b*c) / (math.sqrt((d+b)*(d+c)*(a+b)*(a+c)))
auc_test = roc_auc_score(y_test, y_testprba) 
#训练集的参数
a_train = cm_train[0,0]
b_train = cm_train[0,1]
c_train = cm_train[1,0]
d_train = cm_train[1,1]
acc_train = (a_train+d_train)/(a_train+b_train+c_train+d_train)
error_rate_train = 1 - acc_train
sen_train = d_train/(d_train+c_train)
sep_train = a_train/(a_train+b_train)
precision_train = d_train/(b_train+d_train)
F1_train = (2*precision_train*sen_train)/(precision_train+sen_train)
MCC_train = (d_train*a_train-b_train*c_train) / (math.sqrt((d_train+b_train)*(d_train+c_train)*(a_train+b_train)*(a_train+c_train)))
auc_train = roc_auc_score(y_train, y_trainprba)

保姆级解读

1、还记得怎么通过混淆矩阵计算灵敏度、特异度等指标么？
在这里插入图片描述
首先获得a、b、c、d，怎么搞呢？a是不是第一行第一列，对于python来说：就是第零行第零列（a = cm[0,0]），以此类推，读取b、c、d。
然后根据a、b、c、d包打天下，例如：
灵敏度是真实值是1中，模型预测也为1的正确比例：sen = d/(d+c)；
特异度是真实值是0中，模型预测也为0的正确比例：sep = a/(a+b)；
其他的计算方式就不演示了。

2、此外，AUC的计算不依赖于a、b、c、d，而是根据这个代码：
auc_test = roc_auc_score(y_test, y_testprba)
roc_auc_score的参数呢，包括两个：y_test是实际值，y_testprba是预测的概率（注意，是概率，而不是分类，要和y_pred做区别），来看看代码：

y_pred = classifier.predict(X_test)
y_testprba = classifier.predict_proba(X_test)[:,1]

来，一个是predict，一个是predict_proba，输出的如图所示。
在这里插入图片描述
一目了然了吧，就是根据0.5为阈值进行分类的。我们也可以根据这个表，找出被误判的样本，这个后面再说了。

3、对了，小白估计不知道这些参数去哪里看，还是多说一句吧：
在这里插入图片描述
在这里插入图片描述

（C）ROC曲线：

#绘画训练集ROC曲线
fpr_train, tpr_train, thresholds_train = roc_curve(y_train, y_trainprba, pos_label=1, drop_intermediate=False)  
plt.plot([0, 1], [0, 1], '--', color='navy')     
plt.plot(fpr_train, tpr_train, 'k--',label='Mean ROC (area = {0:.4f})'.format(auc_train), lw=2,color='darkorange')
plt.xlim([-0.01, 1.01])  
plt.ylim([-0.01, 1.01])
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate') 
plt.title('Please replace your title')
plt.legend(loc="lower right")
plt.show()

#绘画测试集ROC曲线
fpr_train, tpr_train, thresholds_train = roc_curve(y_test, y_testprba, pos_label=1, drop_intermediate=False) 
plt.plot([0, 1], [0, 1], '--', color='navy')     
plt.plot(fpr_train, tpr_train, 'k--',label='Mean ROC (area = {0:.4f})'.format(auc_test), lw=2,color='darkorange')
plt.xlim([-0.01, 1.01]) 
plt.ylim([-0.01, 1.01])
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate') 
plt.title('Please replace your title')
plt.legend(loc="lower right")
plt.show()

保姆级解读

1、还记得ROC曲线的绘制原理么？传送门
简单复习一下要点：指定一个阈值为90%，那么只有第一个样本（90%）会被归类为正例，而其他所有样本都会被归为负例，因此，对于90%这个阈值，我们可以计算出FPR为0，TPR为0.1（因为总共10个正样本，预测正确的个数为1），那么曲线上必有一个点为(0, 0.1)。依次选择不同的阈值（或称为“截断点”），画出全部的关键点以后，再连接关键点即可最终得到ROC曲线。
所以要绘制ROC曲线，必须要获得三个数据：假阳性率（fpr），真阳性率（tpr）, 阈值（thresholds），python有一个代码直接给出结果：

fpr_train, tpr_train, thresholds_train = roc_curve(y_train, y_trainprba, pos_label=1, drop_intermediate=False)

也就是roc_curve函数，需要的参数有y_train（真实值）, y_trainprba（预测的概率，没错是概率，否则就是三个点的图），pos_label=1（告诉软件正类我们赋值为1），drop_intermediate=False就不用管他了。

2、我们来看一看具体输出了啥：
在这里插入图片描述
来看看当阈值为0.5时，灵敏度是0.676692，特异度是1-0.127072=0.872928，是不是呢？我们找一下之前计算的结果（这里都是算测试集的哈）：
在这里插入图片描述
没错吧，这都对应上了，进一步验证我们的代码和结果应该是没错的。

（D）PR曲线：
上代码：

#绘画测试集PR曲线
import matplotlib.pyplot as plt
from sklearn.metrics import precision_recall_curve, average_precision_score
precision_1, recall_1, thresholds = precision_recall_curve(y_test, y_testprba)
plt.step(recall_1, precision_1, color='darkorange', alpha=0.2,where='post')
plt.fill_between(recall_1, precision_1, step='post', alpha=0.2,color='darkorange')
plt.figure("P-R Curve")
plt.title('Precision/Recall Curve')
plt.xlabel('Recall')
plt.ylabel('Precision')
plt.plot(recall_1,precision_1)
plt.show()
AP_test = average_precision_score(y_test, y_testprba, average='macro', pos_label=1, sample_weight=None)

#绘画训练集PR曲线
import matplotlib.pyplot as plt
from sklearn.metrics import precision_recall_curve, average_precision_score
precision_1, recall_1, thresholds = precision_recall_curve(y_train, y_trainprba)
plt.step(recall_1, precision_1, color='darkorange', alpha=0.2,where='post')
plt.fill_between(recall_1, precision_1, step='post', alpha=0.2,color='darkorange')
plt.figure("P-R Curve")
plt.title('Precision/Recall Curve')
plt.xlabel('Recall')
plt.ylabel('Precision')
plt.plot(recall_1,precision_1)
plt.show()
AP_train = average_precision_score(y_train, y_trainprba, average='macro', pos_label=1, sample_weight=None)

保姆级解读

为何要PR曲线？简单来说，对于不平衡数据，PR曲线是敏感的，随着正负样本比例的变化，PR会发生强烈的变化。而ROC曲线是不敏感的，其曲线能够基本保持不变。“在negative instances的数量远远大于positive instances的数据集里，PR更能有效衡量分类器的好坏。”
具体区别和原理见此网站科普：
https://blog.csdn.net/weixin_31866177/article/details/88776718
统一在这里放出输出：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

总结

各位好好消化~

Jet4505
关注
第20步 机器学习分类实战：Logistic回归建模（上）
qq_30452897的博客
02-19 481
Logistic回归建模（上）
LogisticRegression.predict_proba使用效果
weixin_41577426的博客
08-27 5290
LogisticRegression.predict_proba使用效果API使用效果 API 链接 使用效果 函数传入测试集，predict_proba的返回值是一个矩阵，矩阵的index是对应第几个样本，columns对应第几个标签，矩阵中的数字则是第iii个样本的标签为jjj的概率值。区别于predict直接返回标签值。 示例： [1 1 2] 的意思是：第一组样本标签值为1、第二...
如何用SPSS做logistic回归
qq_44794961的博客
04-13 2万+
详细到只有作者本人能看懂的SPSS逻辑回归育儿经
SPSS：多项logistic回归分析
最新发布
基博的博客
12-28 1万+
对多种定性资料进行logistic回归分析
logistic回归
05-27
logistic回归又称logistic回归分析，是一种广义的线性回归分析模型，常用于数据挖掘，疾病自动诊断，经济预测等领域。例如，探讨引发疾病的危险因素，并根据危险因素预测疾病发生的概率等。以胃癌病情分析为例，选择两组人群，一组是胃癌组，一组是非胃癌组，两组人群必定具有不同的体征与生活方式等。因此因变量就为是否胃癌，值为"是"或"否"，自变量就可以包括很多了，如年龄、性别、饮食习惯、幽门螺杆菌感染等。自变量既可以是连续的，也可以是分类的。然后通过logistic回归分析，可以得到自变量的权重，从而可以大致了解到底哪些因素是胃癌的危险因素。同时根据该权值可以根据危险因素预测一个人患癌症的可能性。
stata 空间杜宾模型_Stata空间计量：STAR时空自回归模型
weixin_42513216的博客
12-31 4361
? 连享会主页：lianxh.cnNew！ lianxh 命令发布了： GIF 动图介绍随时搜索 Stata 推文、教程、手册、论坛，安装命令如下：. ssc install lianxh  连享会 · 最受欢迎的课 ? 2021 Stata 寒假班⌚ 2021 年 1.25-2.4? 主讲：连玉君 (中山大学)；江艇 (中国人民大学)? 课程主页：https://gitee.com...
《机器学习实战：基于Scikit-Learn、Keras和TensorFlow第2版》-学习笔记（4）：训练模型
Morganfs的博客
04-16 1636
第四章 训练模型 · Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow, 2nd Edition, by Aurélien Géron (O’Reilly). Copyright 2019 Aurélien Géron, 978-1-492-03264-9. · 环境：Anaconda（Python 3.8） + Pycharm · 学习时间：2022.04.16~2022.04.？ 到目前为止，我们已经探讨了不同机器学
机器学习实战案例：使用随机森林/XGBoost等模型进行分类预测，提高银行营销活动效率
Yann_YU的博客
12-29 8401
1. 项目背景介绍 在这篇文章中，我们将使用 Python 搭建逻辑回归（Logistic Regression），随机森林（Random Forest），XGBoosting，Bagging，KNN (K-Nearest Neighbors) ，神经网络（Neural Network）等6种机器学习/深度学习模型，对某个银行的营销活动数据集进行分类预测，尝试找出那些潜在客户。 银行通常会打电话给一些潜在客户来销售一些存款/投资产品，这些投资产品会使银行获得更多利润以及资金的灵活性，因此银行希望能定位那些会
[Python从零到壹] 十四.机器学习之分类算法五万字总结全网首发（决策树、KNN、SVM、分类对比实验）
杨秀璋的专栏
07-09 2万+
分类（Classification）属于有监督学习（Supervised Learning）中的一类，它是数据挖掘、机器学习和数据科学中一个重要的研究领域。分类模型类似于人类学习的方式，通过对历史数据或训练集的学习得到一个目标函数，再用该目标函数预测新数据集的未知属性。本章主要讲述分类算法基础概念，并结合决策树、KNN、SVM分类算法案例分析各类数据集，从而让读者学会使用Python分类算法分析自己的数据集，研究自己领域的知识，从而创造价值。 19.1 分类 19.1.1 分类模型 与前面讲述的聚类模型类似
logistic模型原理与推导过程分析（1）
小李的研究生学习日记
10-29 5368
从线性分类器谈起 给定一些数据集合，他们分别属于两个不同的类别。例如对于广告数据来说，是典型的二分类问题，一般将被点击的数据称为正样本，没被点击的数据称为负样本。现在我们要找到一个线性分类器，将这些数据分为两类。用X表示样本数据，Y表示样本类别（例如1与-1，或者1与0）。我们线性分类器的目的，就是找到一个超平面将两类样本分开。对于这个超平面，可以用以下式子描述： 对于logistic回归，有： 其中x为样本，x=[x1,x2,⋯,xn]为n维向量，函g为我们常说的lo......
机器学习 - SPSS - 聚类（学习笔记）
m0_65392155的博客
02-19 1136
两步聚类（Two Step) 同时处理类别变量、连续变量 自动确定最终的分类个数，具备自动探索未知领域的能力 占用内存资源小，适合处理大型数据集，速度快 同其他统计方法一样，二阶聚类也有严苛的适用条件，它要求模型中的变量独立，类别变量是多项式分布，连续变量须是正态分布。 步骤：1.预聚类，即对案例进行初步归类，也允许最大类别数由使用者决定；2.正式聚类，将步骤1的出局类别在进行聚类，并确定最终的聚类方案，并会根据一定的统计标准确定聚类的类别数量。 层次聚类 可以对变量或案例进行聚类，变量可以为
二元logistic回归模型——spss步骤
DL_Iris的博客
12-03 2万+
二元：因变量为二分类变量，且两个分类整合在一起的概率为1.（有效/无效；是/否） 分析——回归——二元logistic——结果作为因变量——自变量作为协变量 分类——设置分类变量（非连续变量）——变化量、第一个 保存——概率、组成员 选项：霍斯默-莱梅肖拟合优度、Exp(B)置信区间——在每一个步骤 结果分析： （1）看霍斯默检验的显著性：sig/p >0.05表示拟合良好。 （2）方程中的变量: B——系数 sig——p值——显著性 Exp(B)——OR值——优势比（高出一个单位，发生的概率高出多少
spss和python有什么不同_SPSS modeler有必要学吗？还是直接学python机器学习？
weixin_39683368的博客
12-03 816
作为一个懂Python, 同时又是SPSS Modeler的重度使用人群, 谈下我的体会.SPSS Modeler赋予了一线业务人员数据分析的潜力, 我感觉这会让业务数据创造出巨大的价值.它的图形化,流程化, 函数化, 同时支持各种数据源的接入和数据格式的导出. 屏蔽了各种模型的复杂性, 让高深的建模很容易的使用.数据分析最主要的工作就是数据的整理和清洗, 这方面SPSS Modeler提供的工具...
统计分析/机器学习吐血整理最强指南（第二版）
白鼠的学习足迹
11-12 2274
AI的热潮滚滚袭来，集中爆发的领域则是机器学习特别是深度学习，不了解一下似乎跟不上时代。对于没有基础的人来说，需要找一条渐进的学习路线。IT人都不会太闲，但也要抽出时间来学习，要不然也许不知不觉中就发现自己和外界的热点完全不搭边了。看了网上很多人介绍的学习方法，以下这篇文章算是图文并茂。个人感觉可以先从基本的数学入手，不求证明，起码至少要知道是怎么回事，然后从一些简单的应用入门，不至于太枯燥，接着...
SPSSPRO数据分析之——CSI指纹数据分析（预处理、降维等）
静水流深，沧笙踏歌
06-21 7215
SPSSPRO是一款全新的在线数据分析平台，可以用于科研数据的分析、数学建模等，对于那些不会编程或者刚进入科研的新人来说，这款工具再合适不过了。当然本人只是很早之前建模用过，所以有点关公面前武大刀的嫌疑。
机器学习：(PCA)主成分分析法及应用（spss）
lingxw的博客
06-16 1万+
目录1．1、主成分分析法简介1.2、主成分分析法的意义1.3、主成分分析法的思想1.4、主成分分析法的步骤2.1、导入数据2.2、生成图表3.1、PCA算法梯度求解3.1.1. 梯度上升&梯度下降3.1.2求梯度3.2求解第一主成分代码实现3.2.1 数据准备3.2.2. 函数实现3.2.3. 结果可视化3.3求前n个主成分......
SPSS（八）logistic回归（图文+数据集）
热门推荐
可乐联盟
05-19 10万+
SPSS（八）logistic回归 我们之前的线性回归也好、线性回归衍生方法也好、非线性回归也好，因变量的类型都是连续性的，假如因变量的类型是分类的呢？logistic回归针对的是二分类的因变量 logistic回归 基于线性回归模型发展而来 线性回归研究的是连续性因变量与自变量之间的关系 有的时候因变量为分类变量，需要研究该分类变量与一组自变量之间的关系 以治疗效果为因变量，结局为治愈...
数据挖掘-Logistic回归建模
走向DT
04-28 4603
Logistic回归建模          Logistic回归属于概率型非线性回归，对于二分类的Logistic回归，因变量y只有“是、否”两个取值，记为“是、否“两个取值，记为0和1。假设在自变量想，x1,x2.......,xp  作用下，y取“是”的概率是p，则取“否”的概率是1-p，研究的是当y取“是”发生的概率p与自变量x1,x2,x3……, xp  的关系。 Logistic
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Jet4505

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值