【机器学习】机器学习实验方法与原则（详解）

• 训练集、验证集与测试集

训练集与测试集

• 训练集（ 作业 ）：模型可见样本标签，用于训练模型，样本数有限

        • 在训练集上表现好的模型，在其他未见样本上一定表现好吗？小心 过拟合 ！

• 未见样本（ 所有没做过的题 ）往往有指数级别或无穷多个

未见

• 测试集（ 考试 ）：用于评估模型在可能出现的未见样本上的表现

        • 尽可能与训练集 互斥 ，即测试样本尽量 不在训练集中出现 ，为什么？

        这是因为测试集的目的是评估模型的泛化能力，即模型在未见过的数据上的表现。如果测试            集中包含了训练集中的样本，那么模型在测试集上的表现可能会被过度乐观地评估，因为模            型已经在训练过程中见过这些样本，从而可能记住了这些数据的特征，而不是真正地学习到            了泛化规律。

        • 估计 模型在整个未见样本上的表现

训练集与测试集的划分方式

• 随机 划分

        • 按比例，例如 9:1 、 8:2

        • 固定数目，例如测试集从全部样本中采样 1w 个，其余为训练集

• 留一 化分（ leave-one-out ）

        • 一个样本作测试，其余样本训练：常用于 K 近邻等算法的性能评估

• 特殊 划分

        • 按时间划分 ，例如 1-5 月气象数据作训练， 6 月气象数据作测试

        • 推荐系统中，常把 每个用户交互序列的最后一个样本 作测试，其余作训练

验证集

• 从 训练集 中额外分出的集合，一般用于 超参数 的调整

        • 训练轮次、正则化权重、学习率等等

• 为什么不在训练集上调整超参数？过拟合训练集

• 为什么不在测试集上调整超参数？过拟合测试集

        • 针对当前测试集调出的参数可能只在当前测试集上较好

        • 使得测试集结果偏高，不能反映实际在所有未见样本上的效果

        • 类比：针对某场考试的知识点分布作重点复习，不能准确反映学生对所有知识的掌握程度。

        • 举例：机器学习竞赛中，针对公开部分的测试数据过度调参，不一定在隐藏的全部测试数              据上表现好。

• 随机重复实验

• 测一次就足够了吗？

        • 极端情况：二分类中分类器 随机 输出， 恰好 测试集都对了（效果最好？）

• 数据 随机性

        • 由数据集划分带来的评价指标波动

• 模型 随机性

        • 由模型或学习算法本身带来的评价指标波动

        • 例如：神经网络初始化、训练批次生成

• 数据随机性

        • （数据足够多时）增多测试样本

        • （数据量有限时）重复多次划分数据集

• 模型随机性

        • 更改随机种子重复训练、测试

        • 注意 ：保持每次得到的评价指标 独立同分布 (iid)

        • 报告结果：评价指标的 均值

                • 样本标准差(个体离散程度，反映了个体对样本均值的代表性)  

                • 标准误差(样本均值的离散程度，反映了样本均值对总体均值的代表性) 

• K折交叉验证

• 随机把数据集分成 K 个相等大小的不相交子集

• 优点： 数据利用率高 ，适用于数据较少时

• 缺点：训练集互相有交集， 每一轮之间并不满足独立同分布

• 增大 K ，一般情况下：

        • 所估计的模型效果 偏差（ bias ）下降

        • 所估计的模型效果 方差（ variance ）上升

        • 计算代价上升，更多轮次、训练集更大

• K 一般取 5 、 10