机器学习提纲 模型评估和选择

【只是提纲，不完整，有空更新】

1.错误率、精度。

2.误差：学习器的实际预测输出和真实输出的差异。学习器在训练集上的误差称为训练误差或者经验误差。在新样本上的误差称为泛化误差。由于新样本是未知的，我们实际能做的是最小化经验误差。

3.经验误差为0是不是我们的目标呢？当然不是！这样就发生了过拟合。

过拟合（overfitting）：很可能把一些属于样本自身的特点学习到了，当作所有潜在样本的一般性质，泛化能力下降。

欠拟合（underfitting）：对训练样本的一般特性尚未学好。

4.过拟合可否消除？当然不可能！只能缓解。ML的问题大多是NP-hard问题，而有效的学习算法必然是在多项式时间内完成，如果认为可以避免过拟合，那也就意味着经验误差最小化获得最优解，也就是说构造性地证明了P=NP。

5.模型选择（Model Selection）：不同参数、不同学习算法就会有不同模型。那我们要如何选择呢？

6.模型评估：

主要思想：将数据集分成训练集S和测试集T。

主要方法：

（a）留出法（hold-out）：将数据集D划分成两个互斥集合S和T。注意点：

1）采用分层抽样（stratified sampling）。让正样本和负样本在S和T的比例大致相同，保持数据分布的一致性，避免数据划分引入额外偏差。

2）重复实验取平均值。由于集合划分有多种，单次使用留出法的结果往往不可靠，因此采用多次随机划分、多次实验评估取平均值作为评估结果。

3）一般采用1/3-1/5的样本作为测试集。

（b）交叉验证（cross validation）：将数据集D划分成k个大小相似的互斥子集，每次选择其中1个作为测试集T，剩余k-1个作为训练集，这样就有了k组训练/测试集，将k次的评估结果的平均值作为评估结果。注意点：

1）k值关系到结果的保真性和稳定性。k通常取10，称为k折交叉验证（k-fold cross validation）。

2）与留出法相似，通常也多次随机划分、多次实验评估取平均值作为评估结果。

c）自助法

7.混淆矩阵

8.查全率、查准率

9.二分类问题的性能比较

1）包住

2）BEP（Break-even Point）平衡点

3）F1度量

4）度量

（未完待续）

参考资料：周志华《机器学习》