文章目录
一、现象
在做模型建模做模型评估的时候,会用到模型评估指标,所以整理一下
二、解决方案
在机器学习中,回归和分类是两种常见的任务类型,它们各自有不同的评价指标来衡量模型的性能。
回归任务的评价指标:
均方误差 (MSE):
平均绝对误差 (MAE):
分类任务的评价指标:
准确率 (Accuracy):
Accuracy = 正确分类的样本数 / 总样本数
混淆矩阵 (Confusion Matrix):
一个表格,用于显示实际类别与模型预测类别之间的关系。
精确度 (Precision):
Precision = 真正例 / (真正例 + 假正例)
其中 TP 是真正例,TN 是真负例,FP 是假正例,FN 是假负例。
召回率 (Recall):
Recall = 真正例 / (真正例 + 假负例)
其中 TP 是真正例,TN 是真负例,FP 是假正例,FN 是假负例。
F1分数 (F1 Score):
F1 = (2 × Precision × Recall) / (Precision + Recall)
ROC曲线 (Receiver Operating Characteristic Curve):
绘制真正例率(TPR)和假正例率(FPR)的曲线。
真正例率(TPR),也称为召回率或灵敏度,计算公式为:TPR = TP / ( TP + FN )
其中TP是真正例的数量,即模型正确预测为正类的样本数;FN是假负例的数量,即模型错误预测为负类的正类样本数。
假正例率(FPR),计算公式为:FPR = FP / ( FP+TN )
其中FP是假正例的数量,即模型错误预测为正类的负类样本数;TN是真负例的数量,即模型正确预测为负类的样本数。
AUC值 (Area Under the ROC Curve):
ROC曲线下的面积,用于衡量模型的整体性能。
AUC值越接近1,表示模型的性能越好;AUC值为0.5时,表示模型的性能等同于随机猜测。
对数损失 (Log Loss) 或 交叉熵损失 (Cross-Entropy Loss):
这些指标可以帮助我们了解模型在不同方面的表现,例如偏差、方差、过拟合和欠拟合等。在实际应用中,通常会根据具体问题选择最合适的评价指标。