2021-07-10

机器学习西瓜书–第二章总结

1.经验误差与过拟合：
（1）所谓的误差，就是学习器的实际预测输出与样本的真实输出之间的差异称为“误差”，学习器在训练集上的误差称为“训练误差”或“经验误差”，在新样本上的误差称为“泛化误差”。
（2）我们所需要的就是在新样本上能表现得很好的学习器，但是，当学习器的泛化能力很强时，就会出现过拟合现象，出现过拟合的学习器可能已经把训练样本的自身的一些特点当作了所有潜在样本都会具有的一般性质。
例如：我们做一个小狗的识别学习器，泛化能力很强时，当我们把一张猫咪的图片当作输入数据，此小狗识别学习器就可能把猫咪识别为小狗，因为此学习器可能把一切有毛的动物都识别为小狗。
（3）反之，欠拟合就是学习能力低下而造成
（4）欠拟合容易解决，过拟合比较麻烦且无法彻底避免，我们只能“缓解”

2.评估方法
评估方法其实就是我们用于测试学习器的性能的样本应该怎样确定，才能使评估的结果比较准确。
（1）留出法
留出法直接将数据集D划分为两个互斥的集合，其中一个集合作为训练集S，另一个作为测试集T，即D=S∪T，S∩T=空。在S上训练出模型后，用T来评估其测试误差，作为对泛化误差的估计。

（2）交叉验证法
先将数据集D划分为k个大小相似的互斥子集，每个子集从D分层抽样得到。每次用k-1个子集的并集作为训练集，余下的那个子集作为测试基。这样就可以获得k组训练/测试集，从而可进行k次训练和测试，最终返回k个测试结果的均值。注意：当一个样本作为一个集合时，得到一个特例：留一法。
（3）自助法
直接以自助采样法为基础。给定包含m个样本的数据集D，我们对它进行采样产生数据集D’:每次随机从D中挑选一个样本，将其拷贝放入D’，然后再将该样本放回初始数据集D中，使得该样本在下一次采样时仍可能被采到；这个过程重复执行m次后，我们得到m个样本的D’，这就是自助采样的结果；在D’中，存在重复的样本和D存在D‘不存在的样本，我们拿D’去训练，D去测试实则是拿D中存在D‘不存在的样本去测试。
（4）调参与最终模型
大多数学习算法，参数配置不同，学的模型的性能往往有显著差别。在进行模型评估与选择时，除了要对使用学习算法进行选择，还需要对算法参数进行设定，这就是参数调节 或简称“调参”
在模型评估与选择过程中由于需要留出一部分数据进行评估测试，事实上我们只使用了一部分数据训练模型。因此，在模型选择完毕时，学习算法和参数配置已选定，此时应该用数据集D重新训练模型，使用全部的样本进行训练，这才是我们最后提交的模型。

3.性能度量
前面说到，模型的评估方法，那评估的依据是性能度量，是模型泛化能力的评价标准。
（1）错误率与精度
错误率是分类错误的样本数占样本总数的比例，精度则是分类正确的样本数占样本总数的比例。
（2）查准率，查全率与F1
前提：学习器会根据所给的样本和算法，对该样本进行预测（例如打分，分数高的即大概率认为是正例，分数越高，正例的可能性越高）然后会设置一个阈值，机器根据阈值来判断哪些为正例或反例，阈值的右边为正例，左边为反例，但是，在阈值的右边，会有一些反例的分数很高，因此被判断为正例，称为假正例，同时，一些正例也会出现在左边，误判为反例，称为假反例。
西瓜书表2.1 分类结果混淆矩阵中。TP表示真正例，FN表示假反例，FP表示假正例，TN表示真反例。

查准率P=TP/TP+FP；
差全率R=TP/TP+FN;
查准率和查全率是一对矛盾的度量，当想要查全率高时，你阈值右边的数就要多，一多的话，就会把一些反例也包含进去，反例就会变多，导致查准率变低。反之也是这样，一般查准率高，查全率就低。
这样每个模型都有阈值不同时的查全率和查准率（阈值从右边第一个开始逐一增加），以查全率为横轴，查准率为纵轴，画出P-R曲线。每个模型对应一条P-R曲线，对比不同模型的性能，通过比较P-R曲线的平衡点或F1,Fb。这里它们的理解很简单，就不再赘述 。
（3）ROC与AUC
ROC计算与查全率和查准率计算差不多，这里难点为lrank的理解：表示为真反例在真正例右边的占比，举个例子：假如有一系列样本为 j k l b a b a c a a a,假如我们学习器是为了识别a，则a为正例有5个，其他为反例有6个，称左边第一个a为1a，第二个a为2a，在1a右边有b，c两个反例，2a右边有c一个反例，其余a没有，则反例占比为2+1/6*5=3/30，所以lrank为1/10.
（4）代价敏感错误率与代价曲线
代价曲线与期望总体代价图横轴为归一化的正概率代价期望，纵轴为归一化的总代价期望。每一条线是不同p的样本根据当前模型预测的代价高低，不同线代表不同线，这图反映不同p样本时应采取何种阈值来使代价最小
4.比较检验
比较检验是用来验证这个模型预测的可靠性。当它达到什么情况时，才认为可以接受这个模型，才认为不偏离现实，因为预测和现实还是有误差。其计算属于概率论方面内容，如果不懂的话推荐去B某站看网课。

上面只是我个人的理解，会有一些理解不对的地方，欢迎大佬指出。