二分类模型评价指标

二分类模型指标

  • 混淆矩阵

cm

TP(实际为正预测为正),FP(实际为负但预测为正),TN(实际为负预测为负),FN(实际为正但预测为负)

  • 准确率
    A c c u r a c y = T P + T N T P + F P + T N + F N Accuracy=\Large \frac{TP+TN}{TP+FP+TN+FN} Accuracy=TP+FP+TN+FNTP+TN

  • 查全率(召回率)和查准率
    R e c a l l ( S e n s i t i v i t y ) = T P T P + T N Recall(Sensitivity)=\Large \frac{TP}{TP+TN} Recall(Sensitivity)=TP+TNTP
    P r e c i s i o n = T P T P + F P Precision=\Large \frac{TP}{TP+FP} Precision=TP+FPTP
    S p e c i f i c i t y = T N F P + T N Specificity=\Large \frac{TN}{FP+TN} Specificity=FP+TNTN

  • F1度量—查准率和查全率的加权调和平均数
    F 1 S c o r e = 1 1 / R e c a l l + 1 / P r e c i s i o n = 2 × R e c a l l × P r e c i s i o n R e c a l l + P r e c i s i o n F_{1}Score=\Large \frac{1}{1/Recall+1/Precision}=\Large \frac{2\times{Recall}\times{Precision}}{Recall+Precision} F1Score=1/Recall+1/Precision1=Recall+Precision2×Recall×Precision

  • G度量几何平均数
    G = P r e c i s i o n × R e c a l l G=\sqrt[]{Precision\times{Recall}} G=Precision×Recall

  • ROC曲线, AUC
    ROC曲线描绘的是不同的截断点时,并以FPR(False Positive Rate)和TPR(True Positive Rate)为横纵坐标轴,描述随着截断点的变小,TPR随着FPR的变化。
    纵轴: T P R = T P T P + F N = R e c a l l TPR=\Large \frac{TP}{TP+FN} \normalsize =Recall TPR=TP+FNTP=Recall
    横轴: F P R = F P F P + T N FPR=\Large \frac{FP}{FP+TN} FPR=FP+TNFP
    roc

  • KS曲线,KS值
    KS曲线和ROC曲线都用到了TPR,FPR。KS曲线是把TPR和FPR都作为纵坐标,而样本数作为横坐标。
    TPR和FPR曲线分隔最开的位置就是最好的”截断点“,最大间隔距离就是KS值,通常>0.2即可认为模型有比较好偶的预测准确性

  • Lift 和Gain图
    Lift图衡量的是,与不利用模型相比,模型的预测能力“变好”了多少,lift(提升指数)越大,模型的运行效果越好。
    Gain图是描述整体精准度的指标。
    G a i n = T P T P + F P Gain=\Large \frac{TP}{TP+FP} Gain=TP+FPTP
    L i f t = T P T P + F P P P + N = G a i n P R Lift=\Large\frac{\frac{TP}{TP+FP}}{\frac{P}{P+N}}=\frac{Gain}{PR} Lift=P+NPTP+FPTP=PRGain

lift
gain

参考链接:https://blog.csdn.net/shy19890510/article/details/79501582

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Pyspark是Apache Spark的一个Python接口,它在大规模数据处理广泛用于机器学习。对于二分类模型的评价指标,主要有以下几个: 1. **准确率(Accuracy)**:预测正确的样本数占总样本数的比例,是最直观的评估指标。公式为:(TP + TN) / (TP + TN + FP + FN),其TP(True Positive)表示真正例,TN(True Negative)表示真负例,FP(False Positive)表示假正例,FN(False Negative)表示假负例。 2. **精确率(Precision)**:模型预测为正例且实际为正例的比例,衡量的是模型在预测为正类时的可靠性。公式为:TP / (TP + FP)。 3. **召回率(Recall)**:实际为正例被模型正确预测为正例的比例,衡量的是模型找到所有正例的能力。公式为:TP / (TP + FN)。 4. **F1分数(F1 Score)**:精确率和召回率的调和平均值,综合考虑了两个指标。公式为:2 * Precision * Recall / (Precision + Recall)。 5. **ROC曲线(Receiver Operating Characteristic Curve)**:绘制出真正例率(TPR)与假正例率(FPR)之间的关系,用来评估模型在不同阈值下的性能。 6. **AUC-ROC(Area Under the ROC Curve)**:ROC曲线下的面积,值越大说明模型性能越好,1代表完美分类。 7. **混淆矩阵(Confusion Matrix)**:展示模型预测结果与实际结果的对比,直观地看到分类效果。 8. **交叉验证得分(Cross-validation Score)**:通过将数据集划分为训练集和验证集多次,计算平均得分,避免过拟合或欠拟合的影响。 在选择指标时,需要根据具体业务场景和需求来决定,比如关注模型的准确性、误报率还是查全率等。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值