如何创建训练和验证数据集 Python
在机器学习任务中,构建合适的训练和验证数据集是非常重要的。一个好的数据集可以提供多样性的样本,并且能够充分覆盖模型将要处理的情况。本文将介绍如何使用Python创建训练和验证数据集,并提供相应的源代码示例。
- 数据集拆分
首先,我们需要将原始数据集拆分为训练集和验证集。常见的做法是将数据集按照一定比例进行随机拆分,例如,80%的数据用于训练,20%的数据用于验证。在Python中,可以使用scikit-learn库中的train_test_split
函数来实现数据集拆分。以下是一个示例代码:
from sklearn.model_selection import train_test_split
# 假设原始数据集为X和y
X_train, X_val, y_train, y_val