模型评估与改进（三）// 评估指标

最新推荐文章于 2022-09-03 16:20:40 发布

陈同学2020

最新推荐文章于 2022-09-03 16:20:40 发布

阅读量2.2k

点赞数

分类专栏： python算法

本文链接：https://blog.csdn.net/cqx2020/article/details/106175554

版权

本文详细介绍了模型评估的指标，包括二分类问题中的精度accuracy、混淆矩阵、precision、recall、f-score、决策函数、准确率-召回率曲线、ROC曲线，多分类问题的宏平均、加权平均和微平均f-分数，以及回归问题的R方、MSE和MAE。同时，讨论了在不平衡数据集和多分类模型评估中的挑战，并提到了如何在Python中设置评估指标。

摘要由CSDN通过智能技术生成

1、常用的评估指标有哪些？
回答：评估分类算法的性能用精度accuracy；评估回归算法的性能用R方（R的平方）。

第一部分：二分类的评估指标

2、精度accuracy指标对评估二分类模型的不足？
回答：实际应用场景中，单一的精度accuracy指标不能满足要求，甚至是不合适的，需要寻找其他衡量指标。①错误类型。二分类算法在实践中是最常用的机器学习应用，由于模型不是完美的，它会误判，误判包括假正例（错误的阳性预测）、假反例（错误的阴性预测）。有时候，误判是不容忽视。②数据集不平衡。如果数据集中反类占比99%，正类占比1%，当预测精度accuracy为99%时，即便如此，我们不能断定模型性能是好的。

3、混淆矩阵confusion matrix是什么？
回答：混淆矩阵是二分类算法中实际标签和预测标签的矩阵表达。行代表实际标签，列代表预测标签。图示如下：
在这里插入图片描述
4、由混淆矩阵引申的一些常用指标？
回答：包括accuracy、precision、recall、f-score等。
精度accuracy=(TP+TN)/(TP+TN+FP+FN)；
准确率precision=TP/(TP+FP)，也称为阳性预测值（positive predictive value,PPV）；
召回率recall=TP/(TP+FN)，也称为灵敏度（sensitivity)、命中率（hit rate)、真正例率（true positive rate,TPR)；
f-分数f-score=2*（precision*recall）/（precision+recall），是准确率和召回率的调和平均；<