模型评估和超参数调整（二）——交叉验证 （cross validation）

读《python machine learning》chapt 6 

Learning Best Practices for Model Evaluation and Hyperparameter Tuning

【主要内容】

（1）获得对模型评估的无偏估计

（2）诊断机器学习算法的常见问题

（3）调整机器学习模型

（4）使用不同的性能指标对评估预测模型

git源码地址 https://github.com/xuman-Amy/Model-evaluation-and-Hypamameter-tuning

【交叉验证 cross-validation】

常见的交叉验证方法holdout cv ,k-fold cv

【cross-validation ----holdout CV】

【主要思想】

将数据分为三部分：训练集（training data ）、 验证集（validation data） 、 测试集（test data）

训练集（training data ）：fit不同的模型

验证集（validation data）：用于模型选择

 测试集（test data）：对于泛化到新数据的性能，能得到较小偏差的估计值

流程图：