《机器学习》西瓜书学习笔记（Chapter 2）

1.过拟合-----欠拟合

2.评估方法

（1）数据集->训练集+测试集

留出法：直接将数据集分为两个互斥的集合，其中一个集合作为训练集S，一个作为测试集T。
注意：分层采样；若干次随机划分再取平均；常取约$\frac{2}{3}$~$\frac{4}{5}$的样本用于训练。

交叉验证法：数据集$D=D_1\cup D_2\cup ...\cup D_k,D_i\cap D_j=\varnothing .$
每次选k-1个子集的并集作为训练集，剩下的做测试集=>可做k次训练，再将测试结果取均值。

自助法：
bootstrapping：再抽样。
m次再抽样，D->D’ : D’做训练集，D\D’做测试集。
适用：数据集较小，难以有效划分训练/测试集时。
缺：自助法产生的数据集改变了初始数据集的分布，会引入估计偏差。

2.调参和最终模型

调参：对每个参数选定一个范围和变化步长。
最终模型：在学习算法和参数配置已选定后，将数据集D重新训练模型=>要交给用户的最终模型。

3.性能度量

（1）回归任务（预测）常用均方误差： E ( f ; D ) = 1 m ∑ i = 1 m ( f