训练集(train set) 验证集(validation set) 测试集(test set)

http://blog.csdn.net/liulina603/article/details/44831257
一, 训练样本和测试样本
训练样本的目的是 数学模型的参数,经过训练之后,可以认为你的模型系统确立了下来。
一般训练样本和测试样本相互独立,使用不同的数据。
在有监督(supervise)的机器学习中,数据集常被分成2~3个,即:训练集(train set) 验证集(validation set) 测试集(test set)。
http://blog.sina.com.cn/s/blog_4d2f6cf201000cjx.html
显然,
training set 是用来训练模型或确定模型参数的,如ANN中权值等;
validation set 是用来做模型选择(model selection),即做模型的最终优化及确定的,如ANN的结构;
test set 则纯粹是为了测试已经训练好的模型的推广能力。当然,test set这并不能保证模型的正确性,他只是说相似的数据用此模型会得出相似的结果。
但实际应用中,一般只将数据集分成两类,即training set 和test set,大多数文章并不涉及validation set。

划分训练集测试集验证集机器学习中常用的一步。一般情况下,我们需要将数据集划分成三个部分: - 训练集training set):用于训练模型。 - 验证集validation set):用于调整模型的超参数,比如学习率、正则化系数等。 - 测试集test set):用于评估模型的泛化性能,也就是模型对未见过的数据的预测能力。 下面是一个 Python 代码示例,用于将数据集划分为训练集验证集测试集,并生成对应的 txt 文件。 ```python import os import random # 数据集路径 data_dir = 'data/' # 分割比例 train_ratio = 0.8 val_ratio = 0.1 test_ratio = 0.1 # 获取文件列表 files = os.listdir(data_dir) file_list = [] for file in files: file_list.append(os.path.join(data_dir, file)) # 打乱文件列表 random.shuffle(file_list) # 计算分割点 train_point = int(len(file_list) * train_ratio) val_point = int(len(file_list) * (train_ratio + val_ratio)) # 划分数据集 train_files = file_list[:train_point] val_files = file_list[train_point:val_point] test_files = file_list[val_point:] # 写入 txt 文件 with open('train.txt', 'w') as f: f.write('\n'.join(train_files)) with open('val.txt', 'w') as f: f.write('\n'.join(val_files)) with open('test.txt', 'w') as f: f.write('\n'.join(test_files)) ``` 上述代码中,我们首先定义了数据集路径、分割比例以及三个空列表,用于存储划分后的训练集验证集测试集。然后,我们通过 `os.listdir()` 函数获取数据集中所有文件的路径,将它们存储在一个列表中,并且使用 `random.shuffle()` 函数将列表打乱。 接下来,我们根据分割比例计算出训练集验证集测试集的分割点,使用 Python 的切片功能将文件列表划分为三个部分,并将它们分别存储在 `train_files`、`val_files` 和 `test_files` 中。 最后,我们使用 `with open()` 函数分别打开三个 txt 文件,并使用 `f.write()` 函数将文件列表写入相应的文件中。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值