[机器学习笔记] 2.模型的评估与选择

这一部分涉及到在训练出一个模型后，到底该如何评估这个模型的好坏程度以及该选择哪个模型。

2.1 经验误差与过拟合

---

2.2 评估方法

划分训练集和测试集：留出法，交叉验证法，有放回采样法（自主法）

参数调整

---

2.3 性能度量

错误率/精度，查准率/查全率/PR曲线（正确正例/预测正例，正确正例/实际正例）/F1，ROC（错误正例/实际反例，实际正例/实际正例）/AUC，代价敏感错误率与代价曲线

---

*2.4 比较检验：如何比对不同模型之间的性能

假设检验，t检验，McNemar检验，F检验

---

2.5 偏差与方差

偏差，方差，噪音