分类问题的模型评价和其在代码中的实现---机器学习

本文详细介绍了分类模型的评估指标,包括准确率、查准率(精确率)、查全率(召回率)以及ROC曲线,并通过实例解释了这些指标的含义。利用Logistic回归模型进行二分类问题的演示,展示了如何在Python中计算和绘制这些评价指标。查准率和查全率体现了模型在不同场景下的平衡,而ROC曲线则提供了更全面的模型性能视角。代码示例中,模型在数据集上的表现良好。
摘要由CSDN通过智能技术生成

分类模型的模型评价含义的理解

像对数几率回归模型这种用于分类问题的模型,它们对测试集数据进行预测而得到的准确率并不能很好地反映模型的性能,为了有效的判断一个预测模型的性能表现,需要结合真实值,计算出精确率,召回率和准确率等指标来衡量。

图一
,要了解查准率和查全率的含义,首先来看一下分类结果的“混淆矩阵”----对于一个二分类问题,根据样例的真实类别和机器学习预测的类别分为TP(真正例),FP(假正例),TN(真反例),FN(假反例)
图二
看个例子理解:

假设我们有100个瓜,真实情况为这100个瓜中有60个好瓜,40个坏瓜。(图中有蓝色虚线的为真实情况)

预测出来的是100个瓜中有70个好瓜,30个坏瓜。(图中竖着的黑色框)

预测结果中把a2位置原本的10个好瓜预测为了坏瓜,将a3位置原本20个坏瓜预测为了好瓜。
在这里插入图片描述

那么在这个例子中,和上面的图二相对应着看。我们就可以做出很好的理解:

TP:真正例。实际是正分类,预测出来的也是正分类

FP:假正例。实际是负分类,预测出来的是正分类

TN:真反例。实际是负分类,预测出来是也负分类

FN:假反例。实际是正分类,预测出来是负分类

TP+FN是真实情况的正例;TP+FP是预测结果的正例;FP+TN是真实情况的反例;FN+TN是预测结果的反例。

根据上面所说,查准率和查全率(也叫精准率和召回率)就定义为:

查准率: P = T P T P + F P P=\dfrac{TP}{TP+FP} P=TP+FPTP,模型预测正例的正确率

查全率: P =

matlab常用代码大全,帮助你科研,论文实证分析,数模竞赛 第44章 层次分析法 第45章 灰色关联度 第46章 熵权法 第47章 主成分分析 第48章 主成分回归 第49章 偏最小二乘 第50章 逐步回归分析 第51章 模拟退火 第52章 RBF,GRNN,PNN-神经网络 第53章 竞争神经网络与SOM神经网络 第54章 蚁群算法tsp求解 第55章 灰色预测GM1-1 第56章 模糊综合评价 第57章 交叉验证神经网络 第58章 多项式拟合 plotfit 第59章 非线性拟合 lsqcurefit 第60章 kmeans聚类 第61章 FCM聚类 第62章 arima时间序列 第63章 topsis 第1章 BP神经网络的数据分类——语音特征信号分类 第2章 BP神经网络的非线性系统建模——非线性函数拟合 第3章 遗传算法优化BP神经网络——非线性函数拟合 第4章 神经网络遗传算法函数极值寻优——非线性函数极值寻优 第5章 基于BP_Adaboost的强分类设计——公司财务预警建模 第6章 PID神经元网络解耦控制算法——多变量系统控制 第7章 RBF网络的回归--非线性函数回归的实现 第8章 GRNN网络的预测----基于广义回归神经网络的货运量预测 第9章 离散Hopfield神经网络的联想记忆——数字识别 第10章 离散Hopfield神经网络的分类——高校科研能力评价 第11章 连续Hopfield神经网络的优化——旅行商问题优化计算 第12章 初始SVM分类与回归 第13章 LIBSVM参数实例详解 第14章 基于SVM的数据分类预测——意大利葡萄酒种类识别 第15章 SVM的参数优化——如何更好的提升分类的性能 第16章 基于SVM的回归预测分析——上证指数开盘指数预测. 第17章 基于SVM的信息粒化时序回归预测——上证指数开盘指数变化趋势和变化空间预测 第18章 基于SVM的图像分割-真彩色图像分割 第19章 基于SVM的手写字体识别 第20章 LIBSVM-FarutoUltimate工具箱及GUI版本介绍与使用 第21章 自组织竞争网络在模式分类的应用—患者癌症发病预测 第22章 SOM神经网络的数据分类--柴油机故障诊断 第23章 Elman神经网络的数据预测----电力负荷预测模型研究 第24章 概率神经网络的分类预测--基于PNN的变压故障诊断 第25章 基于MIV的神经网络变量筛选----基于BP神经网络的变量筛选 第26章 LVQ神经网络的分类——乳腺肿瘤诊断 第27章 LVQ神经网络的预测——人脸朝向识别 第28章 决策树分类的应用研究——乳腺癌诊断 第29章 极限学习机在回归拟合及分类问题的应用研究——对比实验 第30章 基于随机森林思想的组合分类设计——乳腺癌诊断 第31章 思维进化算法优化BP神经网络——非线性函数拟合 第32章 小波神经网络的时间序列预测——短时交通流量预测 第33章 模糊神经网络的预测算法——嘉陵江水质评价 第34章 广义神经网络的聚类算法——网络入侵聚类 第35章 粒子群优化算法的寻优算法——非线性函数极值寻优 第36章 遗传算法优化计算——建模自变量降维 第37章 基于灰色神经网络的预测算法研究——订单需求预测 第38章 基于Kohonen网络的聚类算法——网络入侵聚类 第39章 神经网络GUI的实现——基于GUI的神经网络拟合、模式识别、聚类 第40章 动态神经网络时间序列预测研究——基于MATLAB的NARX实现 第41章 定制神经网络的实现——神经网络的个性化建模与仿真 第42章 并行运算与神经网络——基于CPU/GPU的并行神经网络运算 第43章 神经网络高效编程技巧——基于MATLAB R2012b新版本特性的探讨
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值