周志华《机器学习》课后习题解答系列（三）：Ch2 - 模型评估与选择

本章概要

本章讲述了模型评估与选择（model evaluation and selection）的相关知识：

2.1 经验误差与过拟合（empirical error & overfitting）

精度accuracy、训练误差（经验误差）training error（empirical error）、泛化误差**generalization error、过拟合**overfitting、欠拟合underfitting；

2.2 模型评估方法（evaluate method）

测试误差testing error、留出法hold-out、分层采样stratified sampling、交叉验证法cross validation、k-折交叉验证**k-fold cross validation、留一法leave-one-out（LOO）、自助法bootstrapping、自助采样bootstrap sampling、包外估计out-of-bag estimate、调参**parameter tuning、验证集validation set；

2.3 模型性能度量（performance measure）

错误率error rate、查准率（准确率）precision、查全率（召回率）recall、P-R曲线、平衡点BEP、F1/Fβ、混淆矩阵、ROC曲线、AUC、代价敏感cost-sensitive、**代价矩阵**cost matrix、代价曲线cost curve、期望总体代价；

2.4 模型比较检验（comparation & testing）

假设检验hypothesis test、拒绝假设、t-检验t-test、Friedman检验、后续检验post-hoc test、Friedman检验图；

2.5 偏差与方差（bias & variance）

偏差-方差窘境bias-variance dilemma；

习题解答

2.1 分层抽样划分训练集