机器学习模型评估与调优总结

最新推荐文章于 2024-07-18 11:28:39 发布

weixin_40552085

最新推荐文章于 2024-07-18 11:28:39 发布

阅读量1.1k

点赞数 1

分类专栏：机器学习文章标签：机器学习模型评估模型调优评价指标距离度量

本文链接：https://blog.csdn.net/weixin_40552085/article/details/83151304

版权

本文详细介绍了机器学习模型的评估指标，包括分类和回归的评估方法，如准确率、精确率、召回率、F1值、MSE、RMSE、MAE、MAPE等。讨论了P-R曲线和ROC曲线，强调了ROC曲线在正负样本分布不均衡情况下的稳定性。此外，文章还涵盖了过拟合和欠拟合的概念及解决方案，如正则化、集成学习。超参数调优方面，提到了网格搜索、随机搜索和贝叶斯优化方法。最后，文章阐述了多种距离度量，如曼哈顿距离、欧式距离、切比雪夫距离和余弦距离等，以及它们在数据处理中的应用。

摘要由CSDN通过智能技术生成

一、评估指标

1、分类评估指标

混淆矩阵

真实类别\预测类别	正例	负例
正例	TP	FN
负例	FP	TN

准确率：分类正确的样本占总样本的比例，当样本比例非常不均衡时，占比大的类别往往成为影响准确率的最主要因素。
精确率（查准率、Precision）与召回率（查全率、Recall）：精确率表示的是分类正确的正样本个数占分类器判断为正样本总数的比例，召回率表示的是分类正确的正样本个数占真实正样本总数的比例。

$P=\frac{TP}{TP+FP}, R=\frac{TP}{TP+FN}$

F1值：精确率和召回率的调和均值。
$F1=\frac{2*P*R}{P+R}$
$F_B=\frac{\left(1+B^2\right)*P*R}{\left(B^2*P\right)+R}$

2、回归评估指标

均方误差（MSE）：
$MSE=\frac{1}{m}\sum_{i=1}^{m}\left(f(x_i)-y_i\right)^2$
平方根误差（RMSE）：如果存在个别偏离程度非常大的离群点时，即使离群点非常少，也会让RMSE变得很差。解决方法： 1. 数据预处理去掉噪声，2. 将噪声加到模型中，模型需要更强的能力，3. 更换评估指标，例如MAPE将每个点的误差进行了归一化，降低了个别离群点对评估指标带来的影响。
$RMSE=\sqrt{\frac{1}{m}\sum_{i=1}^{m}\left(f(x_i)-y_i\right)^2}$
平均绝对误差（MAE）：
$MAE=\frac{1}{m}\sum_{i=1}^{m}|f(x_i)-y_i|$
平均绝对百分比误差（MAPE）:
$MAP=\sum_{i=1}^{n}|\frac{f(x_i)-y_i}{f(x_i)}|*\frac{100}{n}$