xgboost 训练大数据,内存不够 out of memory

       如果要训练(测试)的样本很多,达到上百上千万,单机载入不了内存时,可以采用如下方法:

1、生成libsvm文件

       将要处理的数据分批(比如一次读10000行/个样本)读入内存,缺失值填充、特征过程等处理完毕之后,使用sklearn.datasets.dump_svmlight_file()将其转为libsvm数据格式保存到磁盘;libsvm格式也是每行一个样本,所以多个文件很容易合并(比如使用linux命令:cat file1>> file2)。

2、构造xgb.DMatrix

      构造xgb.DMatrix时,采用指定libsvm文件的方式,并在libsvm文件名末尾加上缓存文件名,格式为:filename#cacheprefix

      filename就是合并后的libsvm文件,cacheprefix就是自己指定一个文件名,用来给xgb缓存使用(这个文件不必提前自己创建)。

例如:

      dtain = xgb.DMatrix(data = './data/engineering_data/mylibsvm#dtrain.cache')

      这里filename = './data/engineering_data/mylibsvm',cachepre

  • 4
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 12
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 12
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值