python cross val score_python - sklearn cross_val_score的精度低于手动交叉验证 - 堆栈内存溢出...

我在写我的问题的过程中解决了这个问题，所以在这里：

cross_val_score的默认行为是使用KFold或StratifiedKFold来定义折叠。 默认情况下，两者都有参数shuffle=False ，因此不会从数据中随机抽取折叠：

import numpy as np

import sklearn.model_selection as ms

for i, j in ms.KFold().split(np.arange(9)):

print("TRAIN:", i, "TEST:", j)

TRAIN: [3 4 5 6 7 8] TEST: [0 1 2]

TRAIN: [0 1 2 6 7 8] TEST: [3 4 5]

TRAIN: [0 1 2 3 4 5] TEST: [6 7 8]

我的原始数据是按标签排列的，所以我采用这种默认行为来预测很多我在培训数据中没有看到过的标签。 如果我强制使用KFold (我正在进行分类，因此StratifiedKFold是默认值)，这就更加明显了：

ms.cross_val_score(sim, data.text, data.label, cv = ms.KFold())

# array([ 0.05530776, 0.05709188, 0.025 ])

ms.cross_val_score(sim, data.text, data.label, cv = ms.StratifiedKFold(shuffle = False))

# array([ 0.2978355 , 0.35924933, 0.27205882])

ms.cross_val_score(sim, data.text, data.label, cv = ms.KFold(shuffle = True))

# array([ 0.51561106, 0.50579839, 0.51785714])

ms.cross_val_score(sim, data.text, data.label, cv = ms.StratifiedKFold(shuffle = True))

# array([ 0.52869565, 0.54423592, 0.55626715])

手工做事给了我更高的分数，因为train_test_split与KFold(shuffle = True)做同样的事情。