文章目录
之前我们介绍了机器学习的一些基础性工作,介绍了如何对数据进行预处理,接下来我们可以根据这些数据以及我们的研究目标建立模型。那么如何选择合适的模型呢?首先需要对这些模型的效果进行评估。本文介绍如何使用 sklearn代码进行模型评估
模型评估
对模型评估的基本步骤如下:
- 首先将要将数据集分为训练集和测试集
- 对训练集进行模型拟合
- 确定合适的评估指标
- 计算在测试集上的评估指标
数据集划分
在机器学习问题中,从理论上我们需要对数据集划分为训练集、验证集、测试集。
- 训练集:拟合模型(平常的作业和测试)
- 验证集:计算验证集误差,选择模型(模拟考)
- 测试集:评估模型(最终考试)
但是在实际应用中,一般分为训练集和测试集两个。其中训练集:70%,测试集:30%.这个比例在深度学习中可以进行相应的调整。
我们可以使用sklearn中的train_test_split划分数据集
数据划分的演进过程
1、训练集+测试集
如果在一个数据集A上进行训练,同样再用A作为评估数据集,无法评估在新数据集上的表现,为了避免这种情况,通常会取出一部分未被训练的数据作为测试集。