1.留出法
- 原始数据分成训练集、验证集和测试集,并且保持数据分布的一致性,可以使用shuffle
- 缺点:只进行了一次划分,数据结果具有偶然性
from sklearn.model_selection import train_test_split
'''
(1)random_state不填或者为0时,每次都不同;其余值表示不同随机数
(2)shuffle表示是否在分割之前对数据进行洗牌(默认True)
'''
X_train, X_test, Y_train, Y_test = train_test_split(X, Y, test_size=0.30,random_state=42,shuffle=True)
2.交叉验证法
- 数据量大时,k设置小一些 / 数据量小时,k设置大一些
- 优点:降低由一次随机划分带来的偶然性,提高其泛化能力,提高对数据的使用效率。
- 缺点:可能存在一种情况:数据集有5类,抽取出来的也正好是按照类别划分的5类,也就是说第一折全是0类,第二折全是1类,等等;这样的结果就会导致,模型训练时。没有学习到测试集中数据的特点,从而导致模型得分很低,甚至为0,
from sklearn.model_selection import KFold
kf = KFold(n_splits=2)
for train_index, test_index