机器学习 扬帆起航002-02模型评估与选择(2)

笔记有什么问题，欢迎大佬指教呐

02模型评估与选择

2.2 模型选择

2.1.1 评估方法
首先什么是评估方法，你可以简单理解为我的模型建好了，用什么数据去评估它。理论来说应该是用未来的数据去评估，但是实际我们是没有未来数据的，那么我们就要从总数据中拿出一部分来当做‘未来数据’，那么测试集要怎么划分出来呢？便有了以下三种方法：（‘未来数据’我们将它叫做‘测试集’）

①留出法
比如我们有1万条样本数据，我们按照一个比例，分出一部分来当测试集，测试集在模型训练时不要使用，只用来评估模型。

这个方法很简单，但有一些小地方需要注意：第一，测试集划分我们用的比例不能太大，一般要求在1/5至1/3即可；第二，数据分布的一致性，简单来说就是你有1000男女数据，你测试集只用300个，比例没有问题，但是他们都是男，或者300里面只有50多个男，其他都是女，那也测试的不好，对吧！

②交叉验证
全名一般叫做‘n次k折交叉验证’，怎么弄呢，比如有1000数据，以5折交叉验证为例，将1000样本随机分为5份，取第一份作为测试集，训练测试一次；以第二份为测试集，训练测试一次…这样5次之后测试结果误差之类的取5次的均值。因为第一次的5份为随机的，我们可以取n次，不断地训练测试。

Ps：留一法：如果1000样本划分为1000份，每次留一个测试，这样训练测试1000次，这就是留一法，这个方法虽然效果好，但是很明显，计算开销太大，所以很少用。

③自助法（当时看到这个后，感觉太强了，用的很巧妙）
来复习下极限，有这样一个公式

这个结果可以去自己验证，下面来看自助法，比如m个样本，我每次从中取出一个，然后放回。每一个被取到的概率为1/m，那么不被取到的概率就是1-1/m，如果不断地这样做，也就是m无限大时会怎样呢，看上面那个极限公式，可以发现不管你取多少次，总会有36.8%的样本不会被取到，很神奇吧。
根据这个便有了自助法。

当然这三个方法也不是可以随便用的，自助法是我认为最好用的，但是他只适合与小数据集（又一次验证了NFL），留出法和交叉验证适合大数据集，最终这三个方法，最常用的是交叉验证。

2.2.2 性能度量
①错误率与精度

这是最常见的指标，就不说啥了。

②查准率和查全率和F1
这个指标什么时候可以用呢，具体值能说明什么呢？
举一个例子，如果我们有1000幅画，里面有5个赝品，现在要分出赝品，那么如果从画的持有者方面来考虑，将95幅真画里分错一个和5幅赝品分错一个其最后的价值是不同的（这个例子虽然有点不太合适，能理解这个数据集不平衡的特征就行）对于这些问题，就引出了查准率和查全率。（在分类中一定要将两类中数量少的那一类划为正类，这样评价才能体现稀有类的价值）

具体指标怎么求，在另一篇，这里是通道：通道

这里补充一下F1指标的新知识：

当β=1时，为正常的F1
当β>1时，偏重查全率
当β<1时，偏重查准率

③ROC曲线
参考上面的通道吧，就不再重写一遍了。

2.2.3 代价敏感错误率与代价曲线

以二分类为例，比如买票进入一个博物馆的人有好人有坏人，现在根据每个人的信息去分类，有四种情况①好人分成了好人②好人分成了坏人③坏人分成了好人④坏人分成了坏人。在①④中不会造成博物馆的损失，所以损失代价为0，而②和④都会造成一定的损失，假设分别为cost01和cost10，好人当成坏人，博物馆损失的只是一张票，而坏人当成好人，博物馆会损失很多钱，甚至金钱都无法弥补的损失。也就是说有时候cost01不等于cost10，那么我们用普通的错误率去评价就不怎么准确了。

新的错误率
代价敏感错误率（非均等代价下）：

定义：0类中预测错误的个数代价cost+1类中预测错误的个数代价cost，然后除以总个数m。（每个类对应的cost相加一定为1）

非均等代价代价下，ROC指标也失去了意义，采用新的代价曲线来达到ROC指标的意义，
X轴（取值0-1）：正例概率代价：

Ps：P为样例为正例的概率。
Y轴（取值0-1）：归一化代价：

图中阴影构成期望总体代价。