周志华机器学习（二）模型评估与选择

误差

经验误差：学习器在训练集上的误差
泛化误差：学习器在新样本上的误差

经验误差小的不一定使得泛化误差小？
当学习器在训练样本学的太好，就会把训练样本的一些性质作为潜在的一些性质。这样就会忽略新样本的性质，导致泛化性下降。这种现象称为过拟合。。
导致过拟合的因素：学习因素太过强大，把训练样本包含的不太一般的特性都学到了。
欠拟合：学习能力低下？？在决策树学习中扩展分支，在神经网络学习中增加训练轮数。

我们是无法直接获取泛化误差的，而训练误差因为过拟合的现象不适合作为标准，在现实生活中如何进行模型评估与选择呢？？

通过使用测试集来测试学习机器对于新样本的判别能力，作为泛化误差
注意：测试集要与训练集互斥，不在训练集中出现，未在训练集过程中使用过。

怎样从数据集中选出训练集和测试集
1，留出法：直接将数据集划分为两个互斥的集合，
注意：要保证数据集，训练集和测试集的类比例一致
若干次使用留出法，取得平均值
2.交叉验证法
将数据集划分为K个互斥子集，然后每次从中选k-1个作为训练集，1个作为测试集，这样就会有k种测试结果。
3.自助法
由于我们评估的数据集训练出来的模型，留出法和交叉验证法使得训练集只是数据集的一部分，所有有误差，留一法（留一个作为测试集），由于训练集的规模过大，计算复杂度太高
自助法直接以自助采样法为基础，给定M个样本的数据集，每次从数据集中随机取出一个样本放入D‘中，然后再放回D中，使得该样本在下次取样的时候仍然可以被取到，重复M次，
适用于数据集小，难以有效划分训练，对集成学习等方法具有很大的好处，在初始数据集大时候，适用留出法和交叉验证法

调参与最终模型

大多数学习算法中的参数都需要设定，参数配置影响学模型的性能。
参数是在实数范围内进行取值，对每个参数选定一个范围和步长
例如：[0,0.2]范围内用0.05作为步长，有 5个候选值，但是这样不是最佳的。假设有三个参数，那么需要调参125次，这样调参量太大。
模型评估与选择中使用到的数据集称为验证集

性能度量

反应了任务需求，在对比不同模型的能力的时候，使用不同的性能度量导致不同的评判结果，什么样的模型是好的，取决于算法，数据和任务需求。
回归任务常用的性能度量是均方误差

错误率和精度

适用分类

查准率。查全率和F1

例如：所有好瓜中有多大比例被挑出来
检索出的信息中有多大比例是用户感兴趣的e

查准率和查全率是一对矛盾的度量，查重率高的时候查全率就低，否者是相反的。

ROC与AUC（后续再深入理解）

ROC全称是受试者工作特征曲线
AUC是样本预测的排序质量，与排序误差有紧密联系。

代价敏感错误率与代价曲线

不同类型的错误造成不同的损失，将错误赋予‘非均等代价’