1. NFL定理
- 一个算法在某些问题上比另一个算法好,必存在另一些问题不如另一个算法好。
- NFL定理的重要前提:所有问题出现的机会相同,同等重要。但实际上并非如此,通常只关注正在解决的问题。脱离具体问题,空泛的谈更好的算法没有意义。
- 现实任务千变万化,最优方案往往要按需设计,度身定制。
2. 泛化能力
- 模型要很好地适用于新数据样本:错误率低,精度高。
3. 过拟合和欠拟合
- 泛化误差:在未来样本中的误差
- 经验误差:在训练集上的误差,也称“训练误差”
- 泛化误差越小越好;经验误差不一定越小越好。因为会出现过拟合(overfitting)。相对地也有欠拟合(underfitting)。
4. 三大问题
- 如何获得测试结果?——评估方法
- 如何评估性能优劣?——性能度量
- 如何判断实质差别?——比较检验
-
评估方法
-
注:测试集应该与训练集互斥。
获得测试集的常见方法有:
1. 留出法:
从数据集中留出一部分用来测试
注意:
- 保持数据分布一致性(分层采样)
- 多次重复划分(如100次随机划分)
- 测试集不能太大或太小(1/5~1/3)
2. k折交叉验证法:![](https://i-blog.csdnimg.cn/blog_migrate/9da6ca6d8762a9ba5949c6ff637881b3.png)
若k=m,则为“留一法”
3. 自助法:
基于“自助采样”(bootstrap sampling),又叫“有放回采样”、“可重复采样”。在采样中没有出现的数据就可以留出来做测试。从而能达到训练集与原样本集同规模的目的。在数据量不够或者训练数据分布情况不重要的情况下适用。
缺陷:1. 改变了训练数据的分布(各数据重要性改变)。