第二章 模型评估与选择
2.1经验误差与过拟合
从误差率引入模型评估泛化误差。
(训练前)模型选择:学习算法+参数配置
(训练后)模型加载数据集后
面临过拟合,欠拟合问题。主要是过拟合
2.2评估方法
由测试误差近似等于泛化误差,引出训练集,测试集
划分时需要注意:保持数据分布的一致性。(避免额外误差影响)
2.2.1留出法:采用若干次随机划分,重复进行实验评估后取平均值作为结果。后果:随机划分训练集和测试集比例不能控制
2.2.2交叉验证法:p次k折交叉验证
留一法:数据量大时,模型多,时间长,评估结果不一定好
2.2.3自助法:
2.2.4调参和最终模型
算法参数和模型参数(调参工作量极大)
2.3性能度量(衡量模型泛化能力的评价标准)
2.3.1错误率与精度(二分类,多分类)
2.3.2查准率,查全率与F1 ???
2.3.3ROC与AUC ???
2.3.4代价敏感错误率与代价曲线 ???
2.4比较检验
2.4.1假设检验 ???
2.4.2交叉验证t 检验 ???
2.4.3McNemar检验 ???
2.4.4Friedman检验与Nemenyi后续检验 ???
2.5偏差与方差
2.6阅读材料
花书学习第二章
最新推荐文章于 2024-08-17 16:07:44 发布