机器学习（2）

模型评估与选择

经验误差与过拟合 错误率 E=a/m，m个样本，a个出错 精度 1-错误率 误差 预测值与实际值的差 训练误差/经验误差 用训练集得到的数据与实际数据的差 泛化误差 新样本（预测中）得到的误差 过拟合 不可避免地问题， 训练过程中，将训练样本中的特点提取出来并当作样本空间内所有样本的特点（实际可能不是） 欠拟合 对训练样本的特点学习不够 评估方法 概念 测试集 作用：测试模型对新样本的判断能力 测试误差 测试结果与实际值的差，近似看成泛化误差 训练集 训练模型的数据集合 要求 训练集与测试集互斥，即双方没有和对面重复的数据 常用方法 留出法 将数据集D划分为S训练集，T测试集 注意：分配时关注数据分布的一致性，常用分层采样，多次使用取平均值提高可靠性，2/3~4/5为训练集 交叉验证法 cross validation 将数据集D划分为k组，其中k-1组为S，剩下一组为T，每组轮流为T，这样有了k个测试结果，通常分组要p次随机划分 此方法又称p次k折交叉验证， 特殊地，当每组样本数为1时，又称留一法 留一法，适合数据较少的情况，数据多了计算成本太高 自助法 bootstrapping 在包含m个样本的数据集中，有放回地挑m个数据组成D'，D'为训练集，D中剩下地为测试集 适合数据集较小，难以有效划分训练、测试集时有用 调参与最终模型 调参很难，可以在一定区间内按一定步长挑选测试， 性能度量 衡量模型泛化能力的评价标准 错误率与精度 查准率、查全率与F1 precision 判断的全部正例中真正的正例所占比例 recall 实际正例中被判断为正例的比例 F1 ROC    AUC ROC曲线用TPR（真正例率）为横轴，FPR（假正例率）为纵轴 被包裹的ROC曲线所代表的模型性能较差， 面积较小的性能交叉 AUC（aera under ROC curve） 代价敏感错误率与代价曲线 非均等代价 为权衡不同的错误所带来的不同程度的损失 代价矩阵 总体代价 非均等代价下，最小化错误次数不再是最好的情况，最小化总体代价更优 代价敏感错误率 代价曲线 反映学习的期望总体代价 比较检验 希望比较泛化性能 依据：统计假设检验 假设检验 待进一步学习 交叉验证t检验 McNemar检验 偏差与方差 泛化误差可分解为偏差、方差、噪声 偏差 期望预测与真是结果的偏离程度 方差 数据扰动造成的影响 噪声 表达档期任务上任何学习算法所能达到的期望泛化误差的下界，刻画问题本身的难度

请各位同伙批评建议指正！

参考文献：

周志华. 机器学习