模型评估与选择
2.1 经验误差与过拟合
- 经验误差 error rate
- 精度accuracy
- 训练误差training error /经验误差empirical error--训练集
- 泛化误差generalization error---新样本
- 过拟合overfitting /欠拟合underfitting
- 模型选择model selection
2.2 评估方法
- 测试集testing set
- 测试误差testing error
- 留出法-根据样本分布划分训练/测试集,避免引入额外的偏差(分层采样stratified sampling)
-一般采用若干次随机划分、重复进行实验评估后取平均值作为评估结果 - 交叉检验法cross validation-将数据集划分成k个互斥的大小相似的小数据集,然后每次用k-1个数据集作为训练集,余下的作为测试集,共进行k次训练和测试,最后返回k个结果取平均(k折交叉验证k-fold cross validation)(一般为10折)---留一法leave one out(LOO)-不受样本随机划分的影响(数据量足够)
- 自助法bootstrapping-每次都有放回随机采样,m个样本进行m次,始终不被采样的概率的极限是0.368,共2/3的样本进行训练,余下的没在训练中出现的样本进行测试,亦成包外估计
out-of-bag estimate(数据集小,很难有效划分训练/测试集) - 调参与最终模型-参数parameter-参数调节parameter tuning----测试集/验证集validation set(用于评估测试的数据集)
2.3 性能度量performance measure-衡量模型泛化能力的评价标准
- 错误率(分类错误的样本数占的比例)与精度(分类正确的样本数占的比例)
- 查准率precision / 查全率reall
- 二分率-真正例TP true positive 假正例FP false positive-----查准率
真反例TN true negative 假反例FN false negative----查全率 - PR图-horizontal axis-R
vertical axis-P - 平衡点 BEP break-even point ---查准率=查全率
- F1度量-查准率和查全率的调和平均
- ROC 与AUC
- 分类阈值 threshold
- 截断点cut point-最可能--->最不可能排序,前一部分正例,后一部分反例
- ROC 受试者工作特征 receiver operating characteristic
horizontal axis:TPR
vertical axis:FPR - AUC area under ROC curve
- 代价敏感错误率与代价曲线-为错误赋予‘非均等代价unequal cost’
- 代价敏感cost-sensitive
- 代价曲线cost curve
2.4比较检验-统计假设检验 hypothesis test
-
假设检验
-
交叉验证t检验paired t-tests
-
McNemar 检验
-
Friedman 检验与Nemenyi后续检验
2.5偏差与方差
-
泛化误差=偏差(本身学习能力)+方差(数据扰动影响)+噪声(学习本身的难度)