机器学习（二）

模型的评估与选择

1.经验误差与过拟合
过拟合：表示训练集中提取的规律当成所有样本的潜在性质，导致泛化能力的下降。
欠拟合：表示在训练集中提取的规律片面，造成错误判断。
m样本数量：10000张手写字体的图片
Y样本正确的结果：第一张图片为1，第二张为7
使用模型进行预测，结果为Y0
error rate: E=a/m (错的个数除以总数) ------称作训练误差或经验误差
accuracy:1-E
error 误差: 绝对值(Y-Y0)

2.评估方法（训练集、验证集、测试集）
training set训练集
training set训练集的保留方法：
留出法(简单37分，28分） ：
要注意训练集和测试集同分布，或者多次随机划分，训练出多个模型，最后取平均值。
交叉验证法:

k折交叉验证，但当数据量较大时，对算力要求较高。
自助法：
当数据集较小时，难以划分的时候采用。
缺点时改变初始数据集的分布，会引入估计差值。
*def：
1.给定m个样本 数据集D，对它进行采样产生数据集D0；
2.每次随机有放回的挑选一个样本，将其拷贝放入D0中；
3.重复m次，得到包含m个样本的数据集D0，这就是自主采样的结果。
4.D中一部分样本会出现在D0中，一部分样本不出现。样本在m次采样中始终不被采到的概率为 (1-1/m) ^m
取得极限为

即通过自助采样，初始数据集中D中约有36.8%的样本未出现在数据集D0中中。
我们可将D0作为训练集，D\D0用作测试集(结果为未出现的元素）。

validation set验证集： 调参很难，很多人都是人为规定的
eg.三个参数，每个参数有5个候选值，那么对于一个训练集/测试集就有5^3（125）个模型要考察。

因为泛化能力，就需要有训练集和测试集，因为要调参加入验证集。
性能度量
均方误差、错误率、精度

混淆矩阵、P-R反向变动关系原理、阈值、最优阈值的确定(三种方法)

多分类问题，分解为多个2分类问题、ROC曲线

AUC(ROC曲线的面积) 和 loss-rank(排序损失)