机器学习-模型评估

《百面机器学习》读书笔记

模型评估分为离线评估与在线评估

离线评估

分类问题

准确率Acc（在正负样本不均衡，且少数样本更重要时失效）

精确率Precision：分类正确的正样本个数/分类器判定为正样本的样本个数；TopN@Precision：对于排序问题，将范围限定在前N个，认为前N个是模型判定的正样本

召回率Recall：     分类正确的正样本个数/真实的正样本个数；TopN@Recall：对于排序问题，将范围限定在前N个，认为前N个是模型判定的正样本

PR曲线

 F1-Score：精准率和召回率的调和平均值，

 ROC曲线 / AUC(ROC曲线下面积)

回归问题

 常用 RMSE

 可能有离群点时，用MAPE 对误差做归一化

在线评估

AB TEST https://blog.csdn.net/Needlyr/article/details/119216107

1. 层与层之间的流量“正交”
上层流量进入下层应该被均匀打散再分组

2. 同层之间的流量“互斥”
同层内的组与组内流量不重叠

离线评估中的验证方法

holdout, 交叉验证, bootstrap自助法

自助法中，对n个样本进行n次自助抽样，n趋于无穷大时，最终有36.8%的样本没有被抽到过，可以被视为验证集使用。

离线训练中的模型超参数调优

网格搜索、随机搜索、贝叶斯优化

模型的过拟合与欠拟合

过拟合：模型在训练集表现很好，测试集表现不好

欠拟合：模型在训练集和测试集表现都不好

过拟合解决方法

数据层面：

1. 增大样本数量

模型层面：

1. 降低模型复杂度

2. 使用正则化的方法

3. 集成学习方法

欠拟合解决方法

数据层面：

1. 增大特征

模型层面：

1. 提高模型复杂度

2. 减小正则化系数