python pickle文件大小_如何通过将>2 GiB的文件拆分为更小的片段来pickle文件

我有一个大于2 GiB的分类器对象，我想对它进行pickle，但是我得到了：

cPickle.dump(clf, fo, protocol = cPickle.HIGHEST_PROTOCOL)OverflowError: cannot serialize a string larger than 2 GiB

我发现this问题也有相同的问题，而且有人建议使用python3协议4-不可接受，因为我需要使用python2

使用from pyocser import ocdumps, ocloads-不可接受，因为我不能使用其他(非平凡的)模块

将对象分解为字节并pickle每个片段

有没有办法用我的分类器做到这一点？i、 把它转换成字节，拆分，pickle，unpickle，连接字节，并使用分类器？在

我的代码：from sklearn.svm import SVC

import cPickle

def train_clf(X,y,clf_name):

start_time = time.time()

# after many tests, this was found to be best classifier

clf = SVC(C = 0.01, kernel='poly')

clf.fit(X,y)

print 'fit done... {} seconds'.format(time.time() - start_time)

with open(clf_name, "wb") as fo:

cPickle.dump(clf, fo, protocol = cPickle.HIGHEST_PROTOCOL)

# cPickle.HIGHEST_PROTOCOL == 2

# the error occurs inside the dump method

return time.time() - start_time

在这之后，我想解开并使用：

^{pr2}$