编程过程中减少内存占用的方法

1  将训练好的模型变成pkl格式进行保存

print("---save model--")

with open('xgb_model.pkl', 'wb') as f:

    pickle.dump(bst, f)

with open('xgb_model.pkl', 'rb') as f:

     myxgb = pickle.load(f)

其中的bst便是train完之后的xgboost模型。

 

2  将做好的数据用hdf5文件表示

train = pd.concat([offline_train,online_train],axis=0, ignore_index=True)

train["Coupon_id"] = train["Coupon_id"].map(str)

train.to_hdf('mydata.h5', 'obj3', format='table')#解决了报错问题

mydata = pd.read_hdf('mydata.h5','obj3')

 

 

 

文末附上前辈的各种格式保存的测试比较

https://blog.csdn.net/Jerr__y/article/details/74230765