第二章 模型评估与选择 提示:内容简要、供作者自己学习记录使用 文章目录 第二章 模型评估与选择一、经验误差与过拟合二、评估方法1.留出法2.交叉验证法3.自助法调参和最终模型 三、性能度量均方误差错误率和精度查准率、查全率、F1ROC和AVC代价敏感错误率 四、比较检验1.假设检验2.交叉验证t检验3.McNemar检验4.Friedman检验 Nemenyi检验 五、偏差与方差 总结 一、经验误差与过拟合 二、评估方法 1.留出法 2.交叉验证法 3.自助法 调参和最终模型 三、性能度量 性能度量:衡量模型泛化能力的评估标准 常见的度量方法 均方误差 错误率和精度 查准率、查全率、F1 ROC和AVC 代价敏感错误率 四、比较检验 泛化误差=偏差+方差+噪声 1.假设检验 2.交叉验证t检验 3.McNemar检验 4.Friedman检验 Nemenyi检验 五、偏差与方差 总结 这章很多概率论相关知识,偏理论。