西瓜书模型评估与选择

经验误差和过拟合

一句话概括就是训练集的样本要尽可能好，尽可能准确，机器才会学到好的经验，这样预测才准确。


过拟合就是加入了一些无关痛痒的特征，比如上图，是不是树叶跟有没有锯齿没有关系，所以有无锯齿不能作为特征；欠拟合指的是特征太少导致无法准确预测。

评估方法

不管什么评估方法，测试样本与训练样本要尽可能不同。

留出法

留出法简言之就是将已有数据集的80%作为训练集，20%作为测试集，通常是这么分的。然后要保证训练集里面正反例的比例与测试集的正反例比例要相同，这样才均匀。然后取样顺序也有可能导致不准确，所以我们多取几次样，将最后结果平均一下。

交叉验证法

简单来讲，就是依次将划分的某一块作为测试集，剩下的所有块组成训练集，然后由于划分方式很多，同样可取均值。

自助法

通常我们用留出法和交叉验证法。

调参与最终模型

简言之，我这举个例子，上述交叉验证的算法的k折就是一个参数，我们要对其进行调参，看看哪个参数更适用于当前业务，然后最终确定要用什么模型，什么参数。

性能度量

均方误差简言之就将每一次的预测值减去真实值的差再取平方，然后将平方后的值相加，最后取平均。

错误率与精度

Ⅱ()这个是指示函数，括号里预测值与真实值不同时，说明有错误，取1，相同取0，对于错误率来说，只需关注不同时取1的情况；精度就是1-错误率

查全率、查准率和F1

我们就用机器认为是好瓜的西瓜中有多少比例确实是好瓜来理解查准率，用确实是好瓜的西瓜中有多少好瓜被挑了出来的比例来理解查全率。







当我们具体面对一个业务时，我们要度量在这个业务中到底是更看重查准率还是查全率？对于这种谁重要的度量，我们利用(2.11)这个公式去计算图2.3平衡点，因为图2.3中的BEP方式的平衡点太low，BEP只是简单的认为查准率和查全率的重要程度一样。

ROC与AUC

看清楚TPR与FPR的计算方式，与之前的PR不太一样。

ROC曲线上每一个点都是我更换截断点后，重新计算的TPR和FPR，然后将每个点连起来就是ROC曲线了。何为截断点？
简单来说就是一个阈值，阈值我们都在【0,1】之间取，当阈值为0时，机器认为认为大于0的都是正例，小于0的都是反例(当然不可能为负数)，然后我们利用公式求出阈值为0时的TPR和FPR，同理，当我把阈值换成0.5时，机器认为大于0.5为正例，小于0.5为反例，我们又能对比真实值求出此阈值下的FPR和TPR。。。以此类推


AUC面积只是为了度量该学习器的ROC曲线的好坏，面积越大越好。

AUC面积等于1-左上角面积(也就是排序损失)

代价敏感错误率与代价曲线

上述公式里的E表示error，并不是期望；
简言之，cost01就是把本身是正例的预测为反例所惩罚的分数，比如罚两分，cost01代价就为2；同理。cost10是将本身是反例的预测为正例所罚的分，比如罚3分，那么cost10代价为3，再因为II()这个指示函数的括号内的表达式如果为真，那指示函数就为1，括号里为真就代表预测错了，有多少个指示函数为1，就说明有多少个预测错误，那么我们将每一个预测错误的指示函数乘以对应的代价，然后求和，就可以得出总的代价(或称错误)了，然后除以样本数量，就得到错误率了。

ROC曲线默认cost01和cost10相同，也就是均等代价，但是往往在实际中，cost01和cost10不同，这时我们就要画代价曲线才能得出总体期望代价。

如图2.5，这图极其难理解，因为横轴和纵轴都是函数，自变量其实是p，上述两公式的分母是用来归一化的，暂且先忽略掉，我们只看这两个公式的分子。我们注意到2.25的分子，将p设为x,那么整个形式就该是一个线性方程：λ1X+(1-X)λ2，那么我们为什么不直接将X也就是p作为横坐标呢？？如下图，曲线是用p作为横轴，实线是用2.24作为横轴的结果，我们要把它弄成直线才方便观察。

公式2.25的分子实际上是计算的期望代价，我们来对比一下期望公式，很容易发现就是同样的模板

现在我们来说归一化，如果不归一化会有什么后果？？如下图左边纵轴也就是FPR的取值范围与右边纵轴FNR的取值范围不同，然后不方便比较。所以我们才要归一化，就像图2.5那样。然后由常识得代价越小越好！！也就是代价曲线围的面积。

期望总体代价越小，则模型的泛化能力越强

比较检验

略，单独写一篇博客

偏差与方差

略，单独写一篇博客