经验误差与过拟合
错误率:m个样本中有a个样本分类错误:
a/m.
精度:
(1−a/m)∗100%
误差:实际预测输出与样本真实输出之间的差异
- 训练集上:训练误差(training error)
- 新样本上:泛化误差(generalization error)
过拟合:学习性能太好,把样本本身独有的特点学到,NPhard问题,难解决。
欠拟合:学习性能不好。
评估方法
留出法
把数据集D分为两个互补的集合S和T。S用来训练模型,T用来评估测试误差。
注意:
- 训练/测试集划分尽量保持数据分布的一致性。
- 及时在给定训练/测试集的样本比例后,任存在许多划分方式
- 一般取若干次随机划分,重复进行实验评估后取平均值作为留出法结果。
交叉验证法
D划分为K个互不相交的集合 Di ,用k-1个子集作为训练集,这样就有K组训练/测试集,最后取k组结果平均值(k-fold cross validation)
k一般取10,称为10折交叉验证.
重复做p次,则有p次k折交叉验证。
留一法:k=m.结果往往认为比较准确,但计算开销大(m个样本,则要训练m个模型)
自助法
D中采样,选取一个样本拷贝到D’中,然后再把这个样本放回D中。重复m次,得到D’.用D’作为训练集,用D/D’作为测试集。
这里,由于D中一个样本始终不被采到的概率为:
(1−1/m)m,
趋近于
1/e
,约等于0.368.这就是说,D中大概有36.8%的样本不在D’中。
优点:
- D较小时,难以划分S/T时很有用
- 能从D中产生多个不同的S对集成学习有很大好处
缺点:
- 改变了初始数据集的分布,引入了估计偏差
调参与最终模型
模型选择完成后重新训练整个D得到最终模型
性能度量
学习期结果
f(x)
与真是标记对比
均方误差:回归任务中,均方误差表示为
E(f;D)=1/m∑i=1m(f(xi)−yi)2
对于数据分布 D 和概率密度函数
待续