机器学习的模型评估

模型评估

模型分为分类模型 和回归模型

模型简介

类别	评估方法	简介
分类模型	准确率（Accuracy）	预测正确的样本数占总样本数的比例
	精确率（Precision）	预测为正例的样本中实际为正例的比例
	召回率（Recall）	实际为正例的样本中被预测为正例的比例
	F1-Score	精确率和召回率的调和平均数
	ROC曲线和AUC值	用于衡量二分类模型的性能，AUC值越接近1，分类器性能越好
	PR曲线和AP值	用于衡量二分类模型的性能，AP值越接近1，分类器性能越好
	混淆矩阵（Confusion Matrix）	用于展示分类器分类结果的统计表格
回归模型	均方误差（MSE）	预测值与真实值之间差值的平方和的平均值
	均方根误差（RMSE）	MSE 的平方根
	平均绝对误差（MAE）	预测值与真实值之间差值的绝对值的平均值
	R²（R-Squared）	回归模型的拟合优度评估方法，取值范围0到1，越接近1代表模型的拟合效果越好
	相对平均误差（RAE）	MAE 的一种标准化指标，表示预测值与真实值之间差值的平均值占真实值的比例
	相对平方误差（RSE）	MSE 的一种标准化指标，表示预测值与真实值之间差值的平方和占真实值平方和的比例
	交叉验证	将数据集分为训练集和测试集，用于评估模型性能的方法，包括K折交叉验证和留一交叉验证

模型优缺点：

假正例（False Positive，FP）
是指在分类预测中，
某个样本实际上属于负例（反例），
但被模型预测成了正例（正例）。
简单来说，就是原本应该判断为负的样本，
却被错误地判断为正的情况。

评估方法	优点	缺点
准确率（Accuracy）	直观、易于理解，适用于类别均衡的情况	对于类别不平衡的数据，准确率可能无法反映模型的真实性能
精确率（Precision）	关注预测为正例的样本中实际为正例的比例，适用于关注假正例的场景	不关注假反例，可能在某些场景中不够全面
召回率（Recall）	关注实际为正例的样本中被预测为正例的比例，适用于关注假反例的场景	不关注假正例，可能在某些场景中不够全面
F1-Score	综合考虑精确率和召回率，适用于关注精确率和召回率平衡的场景	可能无法充分反映某些关注特定类别或特定性能的场景需求
ROC曲线和AUC值	不受类别不平衡影响，适用于衡量二分类模型的性能	仅适用于二分类问题
PR曲线和AP值	考虑了精确率和召回率，适用于衡量二分类模型的性能	仅适用于二分类问题