周志华《机器学习》（西瓜书）入门学习笔记2

1. NFL定理

1. 一个算法在某些问题上比另一个算法好，必存在另一些问题不如另一个算法好。
2. NFL定理的重要前提：所有问题出现的机会相同，同等重要。但实际上并非如此，通常只关注正在解决的问题。脱离具体问题，空泛的谈更好的算法没有意义。
3. 现实任务千变万化，最优方案往往要按需设计，度身定制。

2. 泛化能力

1. 模型要很好地适用于新数据样本：错误率低，精度高。

3. 过拟合和欠拟合

1. 泛化误差：在未来样本中的误差
2. 经验误差：在训练集上的误差，也称“训练误差”
3. 泛化误差越小越好；经验误差不一定越小越好。因为会出现过拟合(overfitting)。相对地也有欠拟合(underfitting)。

4. 三大问题

• 如何获得测试结果？——评估方法
• 如何评估性能优劣？——性能度量
• 如何判断实质差别？——比较检验

1. 评估方法

• 注：测试集应该与训练集互斥。

获得测试集的常见方法有：

1. 留出法：

        从数据集中留出一部分用来测试

        注意：

• 保持数据分布一致性（分层采样）
• 多次重复划分（如100次随机划分）
• 测试集不能太大或太小(1/5~1/3)

2. k折交叉验证法：

 若k=m，则为“留一法”

3. 自助法：

        基于“自助采样”(bootstrap sampling)，又叫“有放回采样”、“可重复采样”。在采样中没有出现的数据就可以留出来做测试。从而能达到训练集与原样本集同规模的目的。在数据量不够或者训练数据分布情况不重要的情况下适用。

 缺陷：1. 改变了训练数据的分布（各数据重要性改变）。