scikit-learn库 holdout cross validation和k-fold cross validation小问题分享

最近写一个分类算法的时候发现的问题，分享给大家防踩坑。

问题：
使用holdout cross validation，即train_test_split函数，将数据集切分为80%-20%时，模型的分类准确率应该与
使用k-fold cross validation，即cross_val_score函数，将 cv值设置为5时，模型的分类准确率相当。
但是，在自己的数据集上，跑出了约97%（holdout cross validation）和90%（k-fold cross validation）的分类准确率。

错误之处：
使用train_test_split函数时，设置了random_state值。

X_train, X_test, y_train, y_test = train_test_split(X, Y, test_size=0.2, random_state=42)

而cross_val_score函数里，没有打乱样本顺序，可以使用sklearn.utils.shuffle来打乱样本顺序。
或者，使用KFold也可以。

from sklearn.utils import shuffle

X_new, Y_new = shuffle(X, Y, random_state=42)

或：

from sklearn.model_selection import KFold, cross_val_score

kf = KFold(n_splits=5, shuffle=True, random_state=42)
accuracy = cross_val_score(YourModel, X, Y, cv=kf, scoring='accuracy')

算分享一个小错误给大家。