训练集、测试集、验证集，以及数据集切分代码

区别一下三个概念：

训练集：顾名思义，用于训练模型，调整网络中的权值、偏差等参数

测试集：对模型能力进行评估，调整学习率等超参，使模型效果达到最优

验证集：对模型训练完全无影响的数据，评估模型泛化能力

一般划分比例3:1:1

 

假设数据集如上一篇博文所定义的格式：零基础自定义数据集入门示例

内容为【时间，数据1，数据2，数据3】的列表

dataset = mydataset(path,file)
features = dataset[:][0]
labels = dataset[:][1]

切分数据集：

from sklearn.model_selection import train_test_split

#训练集占总样本的比例
train_persentage = 0.6

#将数据集划分为训练集、测试集、验证集
#random_state赋值为整数时，每次产生相同的随机数
#stratify表示划分后，训练集数据与test数据中labels的比例相同
train_x, temp_x, train_y, temp_y = train_test_split(features, labels, test_size=1-train_persentage, random_state=1, stratify=labels)
test_x, verify_x, text_y, verify_y = train_test_split(temp_x, temp_y , test_size=0.5, random_state=2, stratify=temp_y)