本文探讨了机器学习模型验证中的常见问题，指出使用同一数据集进行训练和评估会导致过高准确率的误解。介绍了留出集和交叉验证作为更可靠的模型验证方法，特别是交叉验证在数据量小时的优势和LOO（留一交叉验证）的优缺点。通过实例展示了Scikit-Learn库在模型验证中的应用。
有监督机器学习模型的基本步骤：
(1) 选择模型类；
(2) 选择模型超参数；
(3) 用模型拟合训练数据；
(4) 用模型预测新数据的标签。
前两步——模型选择和超参数选择——可能是有效使用各种机器学习工具和技术的最重要阶段。为了作出正确的选择，我们需要一种方式来验证选中的模型和超参数是否可以很好地拟合数据。这看起来是很简单，但要顺利地完成必须避过很多坑。
什么是模型验证
模型验证(model validation)其实很简单，就是在选择模型和超参数之后，通过对训练数据进行学习，对比模型对已知数据的预测值与实际值的差异。
在下面，我们首先通过一个简单方法实现模型验证，告诉你为什么那样做行不通。之后，介绍如何用留出集(holdout set)与交叉检验(cross-validation)实现更可靠的模型验证。
01 / 错误的模型验证方法
让我们再用前面介绍过的鸢尾花数据来演示一个简单的模型验证方
法。首先加载数据：
from sklearn.datasets import load_iris
iris = load_iris()
X = iris.data
y = iris.target
然后选择模型和超参数。这里使用一个 k 近邻分类器，超参数
最低0.47元/天 解锁文章
扫一扫
892
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
