机器学习：数据集划分(包含交叉验证)

1.留出法

• 原始数据分成训练集、验证集和测试集，并且保持数据分布的一致性，可以使用shuffle
• 缺点：只进行了一次划分，数据结果具有偶然性

from sklearn.model_selection import train_test_split
'''
(1)random_state不填或者为0时，每次都不同；其余值表示不同随机数
(2)shuffle表示是否在分割之前对数据进行洗牌（默认True）
'''
X_train, X_test, Y_train, Y_test = train_test_split(X, Y, test_size=0.30,random_state=42,shuffle=True)

2.交叉验证法

• 数据量大时，k设置小一些 / 数据量小时，k设置大一些
• 优点：降低由一次随机划分带来的偶然性，提高其泛化能力，提高对数据的使用效率。
• 缺点：可能存在一种情况：数据集有5类，抽取出来的也正好是按照类别划分的5类，也就是说第一折全是0类，第二折全是1类，等等；这样的结果就会导致，模型训练时。没有学习到测试集中数据的特点，从而导致模型得分很低，甚至为0，

from sklearn.model_selection import KFold
kf = KFold(n_splits=2)
for train_index, test_index in kf