LightGBM用法简析和tricks

LightGBM 简介

LightGBM可谓是比赛的大杀器，他的优点有

1. 训练更有效率，运行时间少。
2. 使用更少的内存。
3. 准确率可以在众多模型中是一流的。
4. 支持GPU，可以并行计算，能处理大规模数据。

LightGBM 使用

本文将简介如何使用LightGBM，和使用过程中的tricks。

1、加载数据

LightGBM支持
1、libsvm/tsv/csv 文本文件格式
2、pandas 对象
3、二进制文件
需要将数据加载成Dataset中，测试集要和训练集数据格式一致。

import lightgbm as lgb

train_data = lgb.Dataset(data, label=label)

test_data = lgb.Dataset(test_data, reference=train_data)        #  1
test_data = train_data.create_valid(test_data)                  #  2  等同于1

trick ：可以把数据存成二进制，会使得加载更快，以后就可以直接读取二进制文件。

train_data.save_binary('train.bin')

trick ：如果特征是categorical features（分类特征）可以直接使用categorical features输入，会比 one-hot coding（独热编码）更快（约快上 8 倍），分类特征需要提前转换为 int 类型的值。

train_data = lgb.Dataset(data, label=label, feature_name=['c1', 'c2', 'c3'], categorical_feature=['c3'])

2、训练与保存

训练需要给定params（参数列表），训练数据等很多参数，一般参数都用字典的形式写在params里面。

bst= lgb.train(params,
                lgb_train,
                num_boost_round=20,
                valid_sets=lgb_eval,
                early_stopping_rounds=5)

主要参数

params = {'objective': 'regression'     # 选择模型的用途，回归、分类等。
          'boosting' : 'gbdt'           # 选择要用的算法 （gbdt, rf, dart, goss） 	
          'num_iterations' : '100'      # 迭代的次数
          'learning' : '0.1'            # 学习率 
          'num_leaves' : '31'           # 一棵树上的叶子数
          'device'  :  'cpu'            # 使用cpu或gpu   
		  } 

保存与加载

bst.save_model('model.txt',num_iteration=bst.best_iteration)  # 会保存最佳迭代结果:
json_model = bst.dump_model()   # 转存为 JSON 的格式
# 加载模型
bst = lgb.Booster(model_file='model.txt')  #init model

更多参数详解参考 https://lightgbm.apachecn.org/#/docs/6

3、预测

ypred = bst.predict(data, num_iteration=bst.best_iteration) # 使用最好的迭代结果预测

实例代码（simple_example）

导入需要的库，加载数据。

# coding: utf-8
# pylint: disable = invalid-name, C0111
import lightgbm as lgb
import pandas as pd
from sklearn.metrics import mean_squared_error

print('Loading data...')
# load or create your dataset
df_train = pd.read_csv('./data/regression.train', header=None, sep='\t')
df_test = pd.read_csv('./data/regression.test', header=None, sep='\t')

得到数据和标签，并存成Dateset格式。

y_train = df_train[0]
y_test = df_test[0]
X_train = df_train.drop(0, axis=1)
X_test = df_test.drop(0, axis=1)

# create dataset for lightgbm
lgb_train = lgb.Dataset(X_train, y_train)
lgb_eval = lgb.Dataset(X_test, y_test, reference=lgb_train)

设置参数。

# specify your configurations as a dict
params = {
    'boosting_type': 'gbdt',
    'objective': 'regression',
    'metric': {'l2', 'l1'},
    'num_leaves': 31,
    'learning_rate': 0.05,
    'feature_fraction': 0.9,
    'bagging_fraction': 0.8,
    'bagging_freq': 5,
    'verbose': 0
}

训练过程

print('Starting training...')
# train
gbm = lgb.train(params,
                lgb_train,
                num_boost_round=20,
                valid_sets=lgb_eval,
                early_stopping_rounds=5)

保存模型，并进行预测。

print('Saving model...')
# save model to file
gbm.save_model('model.txt')

print('Starting predicting...')
# predict
y_pred = gbm.predict(X_test, num_iteration=gbm.best_iteration)
# eval
print('The rmse of prediction is:', mean_squared_error(y_test, y_pred) ** 0.5)

总结

1. 可以用来控制过拟合的参数：
   使用较小的 max_bin
   使用较小的 num_leaves
   使用 min_data_in_leaf 和 min_sum_hessian_in_leaf
   通过设置 bagging_fraction 和 bagging_freq 来使用 bagging
   通过设置 feature_fraction 来使用特征子抽样
   使用更大的训练数据
   使用 lambda_l1, lambda_l2 和 min_gain_to_split 来使用正则
   尝试 max_depth 来避免生成过深的树
2. two_round = True 减少内存
3. 本文仅实现简单的LigthGBM的使用，更多代码会放在我的github中，欢迎star。

参考

1. 详细代码：https://github.com/Clayygou/LightGBM/blob/master/simple_example.ipynb
2. LightGBM 中文文档
3. https://www.jianshu.com/p/b4ac0596e5ef
4. https://www.zhihu.com/search?type=content&q=lightgbm
5. https://github.com/microsoft/LightGBM/tree/master/examples/python-guide