机器学习笔记--模型评估与选择

经验误差与过拟合

错误率：m个样本中有a个样本分类错误：$a/m.$
精度：$(1-a/m)*100\%$
误差：实际预测输出与样本真实输出之间的差异

• 训练集上：训练误差（training error）
• 新样本上：泛化误差（generalization error）
  过拟合：学习性能太好，把样本本身独有的特点学到，NPhard问题，难解决。
  欠拟合：学习性能不好。

评估方法

留出法

把数据集D分为两个互补的集合S和T。S用来训练模型，T用来评估测试误差。
注意：

1. 训练/测试集划分尽量保持数据分布的一致性。
2. 及时在给定训练/测试集的样本比例后，任存在许多划分方式
3. 一般取若干次随机划分，重复进行实验评估后取平均值作为留出法结果。

交叉验证法

D划分为K个互不相交的集合$D_i$，用k-1个子集作为训练集，这样就有K组训练/测试集，最后取k组结果平均值（k-fold cross validation）

k一般取10，称为10折交叉验证.

重复做p次，则有p次k折交叉验证。

留一法：k=m.结果往往认为比较准确，但计算开销大（m个样本，则要训练m个模型）

自助法

D中采样，选取一个样本拷贝到D’中，然后再把这个样本放回D中。重复m次，得到D’.用D’作为训练集，用D/D’作为测试集。

这里，由于D中一个样本始终不被采到的概率为：

$$(1-1/m)^m,$$ 趋近于 $1/e$,约等于0.368.这就是说，D中大概有36.8%的样本不在D’中。

优点：

• D较小时，难以划分S/T时很有用
• 能从D中产生多个不同的S对集成学习有很大好处

缺点：

• 改变了初始数据集的分布，引入了估计偏差

调参与最终模型

模型选择完成后重新训练整个D得到最终模型

性能度量

学习期结果$f(x)$与真是标记对比
均方误差：回归任务中，均方误差表示为

$$E(f;D)=1/m \sum_{i=1}^m(f(x_i)-y_i)^2$$
对于数据分布 $D$和概率密度函数$p(.)$:
待续

比较检验

偏差与方差