《机器学习》周志华 第二章 模型评估与选择

2.1 经验误差与过拟合

• 错误率：分类错误的样本数a占样本总数m的比例，E = a/m
  精度： 1 - a/m
• 学习器在训练集上的误差称之为：“训练误差”或者“经验误差”，在新样本上的误差称之为“泛化误差”
• 过拟合：当学习器在训练样本上训练误差降低，但是泛化误差增加，通常的原因在于学习器的学习能力过于强大，以至于把训练样本中所包含的不太一般的特性都学到了。
  欠拟合：通常是由于学习能力低下造成的
  过拟合是无法避免的，因为机器学习面临的问题通常通常都是NP难的问题，而有效的机器学习算法必然要在多项式时间内完成，若能够彻底避免过拟合，则通过经验误差最小化就能够获得最优解，而这个也就意味着“NP = P”，但是就目前而言，还是相信“NP != P”的。关于NP问题，具体可见NP完全问题

2.2 评估方法

• 留出法（hold-out）：直接将数据集划分为两个互斥的集合，一个作为训练集，一个作为测试集。 训练集/测试集的划分应该尽可能地保持数据分布的一致性 ，其中通常采用2/3～4/5的样本作为训练集，其余的作为测试集。

• 交叉验证法（cross validation）：先将数据集划分为k个大小相似的互斥子集，其中每个子集尽可能保持数据分布一致性，然后每次用k-1个子集的并集作为训练集，余下的那个作为测试集。 通常称之为“k折交叉验证”（“k-fold cross validation”），k通常取值为10

• 留一法（leave-one-out）：令k=m，其中m表示样本的数目，即每个子集中只有一个样本，不受随机划分的影响, 计算复杂度较高

• 自助法（boostrapping）：通过采样产生数据集D‘，其中每次随机从D中挑选一个样本，将其拷贝放入D’，然后将该样本放回初始数据集D中，重复执行m次以后，我们可以得到包含m个样本的数据集D’。样本在m次采样中，始终不被采样到的概率为$$(1-\frac{1}{m}{)}^m，$$则取极限为
  $$li{m}_{m\to \infty }(1-\frac{1}{m})\simeq \frac{1}{e}\simeq 0.368.$$

• 准确率和召回率 : 准确率指的是预测的正样本数量占总样布数量的比例，召回率指的是预测的正样本数量占总样本数量的比例。

• 在商品推荐系统中，为了尽可能少打扰用户，更希望推荐内容是用户感兴趣的内容，因此准确率更加重要。

• F1 是准确率和召回率的调和平均

• 真样本率：预测为正且实际为正的样本占所有实际为正样本的比例
  假样本率：预测为正且实际为假的样本占所有实际为假样本的比例
  ROC曲线：由（真样本率，假样本率）坐标形成的点所连接的曲线，AUC是ROC曲线下的面积