模型评估
模型分为分类模型 和回归模型
模型简介
类别 | 评估方法 | 简介 |
---|---|---|
分类模型 | 准确率(Accuracy) | 预测正确的样本数占总样本数的比例 |
精确率(Precision) | 预测为正例的样本中实际为正例的比例 | |
召回率(Recall) | 实际为正例的样本中被预测为正例的比例 | |
F1-Score | 精确率和召回率的调和平均数 | |
ROC曲线和AUC值 | 用于衡量二分类模型的性能,AUC值越接近1,分类器性能越好 | |
PR曲线和AP值 | 用于衡量二分类模型的性能,AP值越接近1,分类器性能越好 | |
混淆矩阵(Confusion Matrix) | 用于展示分类器分类结果的统计表格 | |
回归模型 | 均方误差(MSE) | 预测值与真实值之间差值的平方和的平均值 |
均方根误差(RMSE) | MSE 的平方根 | |
平均绝对误差(MAE) | 预测值与真实值之间差值的绝对值的平均值 | |
R²(R-Squared) | 回归模型的拟合优度评估方法,取值范围0到1,越接近1代表模型的拟合效果越好 | |
相对平均误差(RAE) | MAE 的一种标准化指标,表示预测值与真实值之间差值的平均值占真实值的比例 | |
相对平方误差(RSE) | MSE 的一种标准化指标,表示预测值与真实值之间差值的平方和占真实值平方和的比例 | |
交叉验证 | 将数据集分为训练集和测试集,用于评估模型性能的方法,包括K折交叉验证和留一交叉验证 |
模型优缺点:
假正例(False Positive,FP)
是指在分类预测中,
某个样本实际上属于负例(反例),
但被模型预测成了正例(正例)。
简单来说,就是原本应该判断为负的样本,
却被错误地判断为正的情况。
评估方法 | 优点 | 缺点 |
---|---|---|
准确率(Accuracy) | 直观、易于理解,适用于类别均衡的情况 | 对于类别不平衡的数据,准确率可能无法反映模型的真实性能 |
精确率(Precision) | 关注预测为正例的样本中实际为正例的比例,适用于关注假正例的场景 | 不关注假反例,可能在某些场景中不够全面 |
召回率(Recall) | 关注实际为正例的样本中被预测为正例的比例,适用于关注假反例的场景 | 不关注假正例,可能在某些场景中不够全面 |
F1-Score | 综合考虑精确率和召回率,适用于关注精确率和召回率平衡的场景 | 可能无法充分反映某些关注特定类别或特定性能的场景需求 |
ROC曲线和AUC值 | 不受类别不平衡影响,适用于衡量二分类模型的性能 | 仅适用于二分类问题 |
PR曲线和AP值 | 考虑了精确率和召回率,适用于衡量二分类模型的性能 | 仅适用于二分类问题 |