如果要训练(测试)的样本很多,达到上百上千万,单机载入不了内存时,可以采用如下方法:
1、生成libsvm文件
将要处理的数据分批(比如一次读10000行/个样本)读入内存,缺失值填充、特征过程等处理完毕之后,使用sklearn.datasets.dump_svmlight_file()将其转为libsvm数据格式保存到磁盘;libsvm格式也是每行一个样本,所以多个文件很容易合并(比如使用linux命令:cat file1>> file2)。
2、构造xgb.DMatrix
构造xgb.DMatrix时,采用指定libsvm文件的方式,并在libsvm文件名末尾加上缓存文件名,格式为:filename#cacheprefix
filename就是合并后的libsvm文件,cacheprefix就是自己指定一个文件名,用来给xgb缓存使用(这个文件不必提前自己创建)。
例如:
dtain = xgb.DMatrix(data = './data/engineering_data/mylibsvm#dtrain.cache')
这里filename = './data/engineering_data/mylibsvm',cachepre