机器学习之数据集划分-k折交叉验证法（k-fold cross validation）

"""
@author: JacksonKim
@filename: k_fold_cross_validation.py
@start: 2021/1/29
@end: 2021/1/29
"""

import numpy as np

'''
1. k折交叉验证法就是将数据集D划分为k个大小相似的互斥子集，每个子集都尽可能保持数据分布的一致性
2. 每次用k-1个子集的并集作为训练集，余下的那个子集作为测试集，从而获得k组训练/测试集
3. 交叉验证法评估结果的稳定性和保真性很大程度上取决于k的取值
4. 数据集D划分成k个子集时有多种划分方法，一般进行p次随机不同划分，然后进行p次交叉验证
'''

# 随机产生我们的数据集
x = np.random.randint(-10, 10, 100)  # 前两个参数表示范围，第三个参数表示个数
data_set = []

# 设置k值
k = 5

# 对数据集进行划分
for i in range(k):
    tmp = []
    j = i
    while j < len(x):
        tmp.append(x[j])
        j = j + k
    data_set.append(tmp)

# 打印数据集
print("data set:")
for i in range(k):
    print(data_set[i])

# 划分k组训练/测试集
for i in range(k):
    test_set = data_set[i]
    train_set = []
    for j in range(k):
        if i != j:
            train_set.append(data_set[j])
    print()
    print("processing fold #", i+1)
    # 打印训练集
    print("train set: ")
    for j in range(k-1):
        print(train_set[j])
    # 打印测试集
    print("test set: ", test_set)