机器学习笔记之模型评估与选择

2.1经验误差与过拟合

错误率（error rate）：分类错误的样本数占样本总数的比例

精度（accuracy）：1-错误率

误差（error）：实际预测输出与样本的真实输出之间的差异

训练误差/经验误差：在训练集上的误差

测试误差/泛化误差：在新样本的误差

过拟合：学习时选择的模型包含的参数过多，对已知数据预测的很好，但对未知数据预测的很差，即泛化能力很差。

产生过拟合的原因：学习能力强大。

过拟合无法彻底避免，只能采取措施缓解，或者说减小其风险。

2.2评估方法

对数据集D进行适当处理，产生训练集S和测试集T。

2.2.1留出法（hold-out）

将数据集D划分为两个互斥的集合，尽可能保持数据分布的一致性。

2.2.2交叉验证法（cross validation）

将数据集D划分为k个大小相似的互斥子集，每次用k-1个子集的并集作为训练集，余下的那个子集作为测试集。

2.2.3自助法（bootstrapping）

2.2.4调参（parameter tuning）

算法的参数，称为超参数，10个以内；模型的参数，数目很多。

2.3性能度量（performance measure）

评估学习器f的性能，把学习器预测结果f(x)与真实标记y进行比较。

回归任务，最常用的是均方误差。

分类任务，常见的如下：

2.3.1错误率与精度

2.3.2查准率与查全率

查准率，又称精确率，presion，用P表示，精确率是针对我们预测结果而言的，它表示的是预测为正的样本中有多少是真正的正样本。那么预测为正就有两种可能了，一种就是把正类预测为正类(TP)，另一种就是把负类预测为正类(FP)，也就是（你的预测有多少是对的）

查全率，又称召回率，recall，用R表示，召回率是针对我们原来的样本而言的，它表示的是样本中的正例有多少被预测正确了。那也有两种可能，一种是把原来的正类预测成正类(TP)，另一种就是把原来的正类预测为负类(FN)。（正例里你的预测覆盖了多少）

PR曲线，平衡点BEP

2.5偏差与方差

泛化误差可以分解为偏差、方差、噪声之和。

偏差刻画了学习算法本身的拟合能力；方差刻画了数据扰动所造成的影响；噪声刻画了学习问题本身的难度。