机器学习 DAY2

模型评估与选择

2.1 经验误差与过拟合

• 经验误差 error rate
• 精度accuracy
• 训练误差training error /经验误差empirical error--训练集
• 泛化误差generalization error---新样本
• 过拟合overfitting /欠拟合underfitting
• 模型选择model selection

2.2 评估方法

• 测试集testing set
• 测试误差testing error

  ---

• 留出法-根据样本分布划分训练/测试集，避免引入额外的偏差（分层采样stratified sampling）
  -一般采用若干次随机划分、重复进行实验评估后取平均值作为评估结果
• 交叉检验法cross validation-将数据集划分成k个互斥的大小相似的小数据集，然后每次用k-1个数据集作为训练集，余下的作为测试集，共进行k次训练和测试，最后返回k个结果取平均（k折交叉验证k-fold cross validation）（一般为10折）---留一法leave one out（LOO）-不受样本随机划分的影响（数据量足够)
• 自助法bootstrapping-每次都有放回随机采样，m个样本进行m次，始终不被采样的概率的极限是0.368，共2/3的样本进行训练，余下的没在训练中出现的样本进行测试，亦成包外估计
  out-of-bag estimate（数据集小，很难有效划分训练/测试集）
• 调参与最终模型-参数parameter-参数调节parameter tuning----测试集/验证集validation set（用于评估测试的数据集）

  ---

2.3 性能度量performance measure-衡量模型泛化能力的评价标准

• 错误率（分类错误的样本数占的比例）与精度（分类正确的样本数占的比例）
• 查准率precision  /  查全率reall
• 二分率-真正例TP true positive          假正例FP false positive-----查准率
              真反例TN true negative        假反例FN false negative----查全率
• PR图-horizontal axis-R
            vertical axis-P
• 平衡点 BEP break-even point ---查准率=查全率
• F1度量-查准率和查全率的调和平均

  ---

• ROC 与AUC
• 分类阈值 threshold
• 截断点cut point-最可能--->最不可能排序，前一部分正例，后一部分反例
• ROC 受试者工作特征 receiver operating characteristic   
  horizontal axis：TPR
  vertical axis：FPR
• AUC area under ROC curve
• 代价敏感错误率与代价曲线-为错误赋予‘非均等代价unequal cost’
•  代价敏感cost-sensitive
• 代价曲线cost curve

  ---

  2.4比较检验-统计假设检验 hypothesis test

• 假设检验

• 交叉验证t检验paired t-tests

• McNemar 检验

• Friedman 检验与Nemenyi后续检验

  ---

  2.5偏差与方差

• 泛化误差=偏差（本身学习能力）+方差（数据扰动影响）+噪声（学习本身的难度）