机器学习算法（一）模型评估

一、模型评估

原则

训练误差小，测试误差（泛化误差的近似，即在新样本上的误差）小

实验方法

1. 留出法：划分训练集与测试集（训练集约占2/3~4/5）                                                         

（1）保证训练集测试集类别比例相似；                                                                                 

（2）多次随机划分，重复实验取平均值

2. p次k折交叉验证法：                                                                                                             

（1）划分数据集为k个子集，每次训练k-1个子集，测试剩下的子集                                       

（2）p次划分，重复实验取平均值

3. 自助法：有放回从数据集中得到训练集，训练集中会有重复样本，常用于数据集较小

评价指标

1. 回归                                                                                                                                   

1）MAE（mean absolute error） 

             

2）MAPE（mean absolute percentage error） 

                 

3）MSE（mean squared error）             

2. 分类

1）错误率与精度

错误率：分类错误的样本数占样本总数的比例

精度：分类正确的样本数占样本总数的比例

2）precision、recall、F

3）ROC与AUC

ROC曲线纵轴是recall，横坐标为FPR（即实际是负样本却预测为正样本的样本比例）

ROC面积是AUC，越接近于（0，1），模型越好

总结

训练集用于训练，验证集用于模型选择和调参，测试集用于验证模型的泛化能力