在机器学习训练算法模型之前,我们一般都需要对数据集进行划分为训练集和测试集。训练集用作机器学习训练得出算法模型,而测试集用来对训练出来的模型进行检验。
在sklearn中可以从sklearn.model selection中调用train_test_split函数方法实现数据集的划分。
1、train_test_split
今天我们来手搓一个函数实现train_test_split一样的数据集划分。
话不多说,我们直接先上代码!
from random import randrange
from random import seed
def train_test_split(data, proportion=0.7, random_seed=None):
train_data = []
seed(random_seed)
train_size = proportion*len(data)
data_copy = list(data)
while len(train_data) < train_size:
train_data_index = randrange(len(data_copy))
train_data.append(data_copy.pop(train_data_index))
return train_data, data_copy
data = [[1], [2], [3], [4], [5], [6], [7], [8], [9], [10], [11]]
train, test = train_test_split(data, proportion=0.7)
print(train)
print(test)
data是我们要划分的数据集,proportion是划分占比,random_seed是随机数种子(正整数),默认是None,每次划分结果随机。
这里我们只用了random库的randrange和seed方法。
其中randrange是用作生成随机数,而seed是为了保持同一个随机状态,可以实现一个随机数种子一个随机结果,只要随机数种子不变,就保持一样的结果。
我们下面举例子说明,相信你就清楚了。
比如,我们把random_seed赋值为22,我们会发现多次运行结果是一致的。
data = [[1], [2], [3], [4], [5], [6], [7], [8], [9], [10], [11]]
train, test = train_test_split(data, proportion=0.7, random_seed=22)
print(train)
print(test)
我们再把random_seed赋值为66,看下运行结果,你会发现结果变了。我们可以通过seed方法实现一个伪随机。
2、k_fold
机器学习中除了划分数据集,还有一个交叉验证也是经常会使用到的,且实现原理类似。
我们直接上代码,k值是指划分成多少份。
def k_fold(data, k=5, random_seed=22):
train_data = []
seed(random_seed)
train_size = int(len(data)/k)
data_copy = list(data)
for i in range(k):
data_basket = []
while len(data_basket) < train_size:
data_basket_index = randrange(len(data_copy))
data_basket.append(data_copy.pop(data_basket_index))
train_data.append(data_basket)
return train_data
data = [[1], [2], [3], [4], [5], [6], [7], [8], [9], [10], [11]]
train = k_fold(data)
print(train)
仔细看我们会发现,思想和前面类似。
思考:这样的实现方法会出现数据丢失的情况,怎样解决好呢?或者几乎无影响可以不管呢?