花书学习第二章

第二章 模型评估与选择
2.1经验误差与过拟合
从误差率引入模型评估泛化误差。
（训练前）模型选择：学习算法+参数配置
（训练后）模型加载数据集后
面临过拟合，欠拟合问题。主要是过拟合
2.2评估方法
由测试误差近似等于泛化误差，引出训练集，测试集
划分时需要注意：保持数据分布的一致性。（避免额外误差影响）
2.2.1留出法：采用若干次随机划分，重复进行实验评估后取平均值作为结果。后果：随机划分训练集和测试集比例不能控制
2.2.2交叉验证法：p次k折交叉验证
留一法：数据量大时，模型多，时间长，评估结果不一定好
2.2.3自助法：
2.2.4调参和最终模型
算法参数和模型参数（调参工作量极大）
2.3性能度量（衡量模型泛化能力的评价标准）
2.3.1错误率与精度（二分类，多分类）
2.3.2查准率，查全率与F1 ???
2.3.3ROC与AUC ???
2.3.4代价敏感错误率与代价曲线 ???
2.4比较检验
2.4.1假设检验 ???
2.4.2交叉验证t 检验 ???
2.4.3McNemar检验 ???
2.4.4Friedman检验与Nemenyi后续检验 ???
2.5偏差与方差
2.6阅读材料