【机器学习要点记录】metrics.roc_auc_score：使用 model.predict() 和 model.predict_proba() 效果差别很大

最新推荐文章于 2022-07-22 09:38:41 发布
最新推荐文章于 2022-07-22 09:38:41 发布
阅读量1.6k 收藏 5
点赞数 1
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lvhuike/article/details/109046811
版权

以前使用roc_auc_score都是用model.predict()的预测结果，错了那么久。。。。。。

查看官网注释才知道应该用model.predict_proba()的预测结果。

做了个对比试验，分别使用model.predict() 和 model.predict_proba()的预测结果，观察AUC值发现，相比于使用model.predict_proba()的AUC值，使用model.predict()的AUC值偏小。

小步积
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
Test_add_int_lit16.rar_Metrics_The Test
09-22
Implementation of the metrics interface.
image_fusion_metrics.rar_SSIM准则_SSIM图像融合_image fusion_ssim image
07-15
用于图像融合的评估准则，包括SSIM、RMSE，MI，VARIANCE、sapce_frequency、mutual_mutual_information、ave_gradient
metrics.rar_Windows编程_Unix_Linux_
08-11
Declarations for RPC client per-operation metrics.
big_glyph_metrics.rar_Not Yet
09-19
Value for fMagicValue when the constructor has started running, but not yet finished.
keras中model.predict中遇到的维度问题和暂时解决方式（求大佬看到解决一下）
Shenyan Wu的博客
02-24 4746
keras中model.predict中遇到的问题和暂时解决方式（求大佬看到解决一下） 在学习分类的时候，mnist数据集分类尝试时，因为训练维度的原因，教程中都是 model.predict([[X_train[0]]]) 这里说明是：因为训练维度为 3 维，所以需要添加 2 层 [ ]， 可是在我添加之后产生了如下问题 问题 : 问题是在访问数据集中单张图片时产生错误 下面为错误代码 : import pandas as pd import tensorflow as tf import matp
【已解决】sklearn svm的predict和proba输出结果不一样的原因
weixin_44174352的博客
03-26 4028
查阅sklearn官方文档可知，predict_log_proba(X)这个函数计算X中的样本可能结果的概率。但是该概率的计算使用交叉验证创建概率模型，因此结果可以略有不同于预测获得的模型。此外，它将在非常小的数据集上产生毫无意义的结果。 ...
python predict_proba_Scikit learn predict_proba给出错误答案
weixin_39580682的博客
02-02 519
在这个问题上，我引用了以下代码：>>> import sklearn>>> sklearn.__version__'0.13.1'>>> from sklearn import svm>>> model = svm.SVC(probability=True)>>> X = [[1,2,3], [2,3,4]]...
[Bug记录] sklearn中predict与predict_proba的识别结果不一致
Knife丶小刀博客
03-20 3919
今天训练了好久的决策树模型在测试的时候发现个bug，使用predict得到的结果居然不是predict_proba中最大数值的索引！因为脚本中需要模型的置信度，所以希望拿到predict_proba的类别概率。 经过胡乱分析发现predict_proba得到的维度比总类别数少了几个，经过测试发现就是这个造成的，即训练集中有部分类别样本数为0。这个问题比较隐蔽，记录一下方便天涯沦落人绕坑。 Tip：...
TensorFlow 2.0 model的predict()方法详解以及自定义predict实现预测数据和真实数据配对输出
热门推荐
yue81560的博客
03-31 4万+
TensorFlow模型训练过程中`fit()`可以直接设置`validation_data`为test数据集来测试模型的性能。但是通常我们要绘制模型的真实数据和预测数据的展示图，就需要输出模型的预测值。在使用Dataset作为模型输入时，由于其具有迭代器特征以及自动的shuffle，会使得预测值和真实值的数据排序顺序不一致，这时可以自定义predict过程，实现预测值和真实值的配对输出
二分类损失函数及AUC指标
myblog
07-27 3885
pytorch实现二分类器 主要问题在于输入输出，以及损失函数设置 from sklearn.metrics import roc_auc_score import torch.nn.functional as F import torch.nn as nn import torch class Net(nn.Module): def __init__(self,in_dim,hidden_dim,out_dim=1): super().__init__() self.fc1 =
tcp_metrics.rar_V2
09-23
TCP Metrics Interface for Linux v2.13.6.
机器学习常用性能指标及sklearn中的模型评估
微澜同学
09-17 1万+
一，机器学习常用性能指标总结 （转载并稍作修改和补充） 在机器学习中，性能指标(Metrics)是衡量一个模型好坏的关键，通过衡量模型输出y_predict 和 y_true之间的某种"距离"得出的。 性能指标往往是我们做模型时的最终目标，如准确率，召回率，敏感度等等，但是性能指标常常因为不可微分，无法作为优化的loss函数，因此采用如cross-entropy, rmse等“距离”可微函数...
sklearn中predict()与predict_proba()用法区别
qq_35098624的博客
05-31 5143
sklearn中predict()与predict_proba()用法区别 学习使用，侵权联系速删 转载：https://www.cnblogs.com/mrtop/p/10309083.html predict是训练后返回预测结果，是标签值。 predict_proba返回的是一个 n 行 k 列的数组， 第 i 行 第 j 列上的数值是模型预测 第 i 个预测样本为某个标签的概率，并且每一行的概率和为1。 # conding :utf-8 from sklearn.linear_model imp
sklearn评估指标Classification metrics常用指标详解及小坑
weixin_46428351的博客
03-23 2896
sklearn评估指标Classification metrics常用指标详解及小坑 计算评估指标需要用到预测结果和真实标签，首先说一下获得预测结果的model.predict()和model.predict_proba()的区别： model.predict()：得到的是预测的类别。如果是二分类，就是0或1. model.predict_proba()：得到的是预测类别的概率，是一个多维数组。如果是二分类，则第一列表示预测为0的概率，第二列表示预测为1的类别。如果你想获得预测为1的概率就直接取第2列：y
sklearn计算auc的坑----model.predict()和 model.predict_proba()的区别
ODIMAYA的博客
11-19 1万+
sklearn中计算auc的两个函数： auc() 和 roc_auc_score() from sklearn.metrics import roc_curve, auc, roc_auc_score 使用auc() 注意： model.predict()得到的预测是预测类别结果，如果是二分类，就是0和1 model = LogisticRegression(class_weight='...
[Kesci] 预测分析 · 客户购买预测（AUC评估要使用predict_proba）
Michael是个半路程序员
08-16 6007
文章目录1. Baseline2. AUC评估要使用predict_proba2.1 导入工具包2.2 特征提取2.3 训练+模型选择2.4 测试提交3. 致谢 新人赛地址 1. Baseline import pandas as pd import numpy as np import seaborn as sns import matplotlib.pyplot as plt %matplotlib inline import seaborn as sns from sklearn.model_sele
sklearn中调用某个机器学习模型model.predict(x)和model.predict_proba(x)的区别
学无止境、积少成多、厚积薄发
07-28 1万+
直接上代码： python3 代码实现： # -*- coding: utf-8 -*- """ Created on Sat Jul 27 21:25:39 2019 @author: ZQQ """ from sklearn.linear_model import LogisticRegression from sklearn.ensemble import RandomForestCla...
tensorflow.keras 训练模型直接测试结果与导入模型文件测试结果不一致的问题
sifang_baweng的博客
07-22 1171
tensorflow.keras 训练模型直接测试结果与导入模型文件测试结果不一致的问题
卷积神经网络预测函数出来的值一模一样是什么问题？
lcg1815979443的博客
12-08 7128
这里写自定义目录标题卷积神经网络预测函数出来的值一模一样是什么问题？ 卷积神经网络预测函数出来的值一模一样是什么问题？ 预测值predict一列下来一模一样，是过拟合呢还是欠拟合？太小白纠结了一个月了，求大神指导 ` 1.测试的代码： import joblib import numpy as np from com.lcg.version11 import model from com.lcg.version11 import Loading_pictures as lp # dnn = joblib
from sklearn import metrics from sklearn.model_selection import train_test_split from sklearn.linear_model import LogisticRegression from imblearn.combine import SMOTETomek from sklearn.metrics import auc, roc_curve, roc_auc_score from sklearn.feature_selection import SelectFromModel import pandas as pd import numpy as np import matplotlib matplotlib.use('TkAgg') import matplotlib.pyplot as plt from sklearn.metrics import confusion_matrix #1、数据输入 df_table_all = pd.read_csv(r"D:\trainafter.csv",index_col=0) #2、目标和特征区分 X = df_table_all.drop(["Y"],axis=1).values Y = np.array(df_table_all["Y"]) #3、按比例切割数据 X_train,X_test,Y_train,Y_test = train_test_split(X,Y,test_size=0.3,random_state=0) #4、样本平衡， st= SMOTETomek() X_train_st,Y_train_st = st.fit_resample(X_train,Y_train) #4、特征选择： #创建特征选择模型 sfm = SelectFromModel(LogisticRegression(penalty='l1',C=1.0,solver="liblinear")) #训练特征选择模型 sfm.fit(X_train,Y_train) #讲数据转换，剩下重要的特征 X_train_tiny = sfm.transform(X_train) X_test_tiny = sfm.transform(X_test) #5、创建模型 model = LogisticRegression(penalty='l1',C=1.0,solver="liblinear") model.fit(X_train_st_tiny,Y_train_st) #6、预测 y_pred = model.predict_proba(X_test_st_tiny) y_cate = model.predict(X_test_st_tiny) c=confusion_matrix(Y_test,y_cate) print(c) def report_auc(y_true,y_prob,title,out_name="",lw=2): fpr,tpr,_=roc_curve(y_true,y_prob,pos_label=1) print(fpr) print(tpr) plt.figure() plt.plot(fpr,tpr,color="darkorange",lw=lw,lable="ROC curve") plt.plot([0,1],[0,1],color="yellow",lw=lw,linestyle="--") plt.xlim([0,1]) plt.ylim([0,1.05]) plt.title(title) plt.legend(loc='lower right') plt.show(0) plt.savefig(r"d:\LR"+out_name,dpi=800) plt.close("all") report_auc(Y_test,y_pred[:,1],"Logistic with L1 panetly",'LG')
最新发布
03-14
这段代码是用于机器学习中的分类问题，主要使用了scikit-learn库中的一些模块和函数，包括metrics、model_selection、linear_model、feature_selection等。其中，LogisticRegression是用于逻辑回归模型的，SMOTETomek是用于处理样本不平衡问题的，auc、roc_curve、roc_auc_score是用于评估分类模型性能的指标，train_test_split是用于将数据集分为训练集和测试集的，SelectFromModel是用于特征选择的。同时，还使用了pandas、numpy、matplotlib等库进行数据处理和可视化。最后，使用confusion_matrix函数生成混淆矩阵，用于评估分类模型的准确性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值