大数据系列15：lightgbm笔记

1. 安装

建议用conda安装。
首先安装miniconda，在官网下载对应的版本。
然后将系统的python和pip定位到miniconda文件夹下。
然后用conda安装lightgbm，在Mac m2芯片上测试可行。（用pip直接安装通不过编译）。

2. 简单case

将lightgbm的github上的代码clone下来。
首先来看simple_example.py。它的对应数据如下：

第一列是标签，后面是数据。

所以用下面的代码划分测试和训练集：

y_train = df_train[0]
y_test = df_test[0]
X_train = df_train.drop(0, axis=1)
X_test = df_test.drop(0, axis=1)
# create dataset for lightgbm
lgb_train = lgb.Dataset(X_train, y_train)
lgb_eval = lgb.Dataset(X_test, y_test, reference=lgb_train)

简单的参数配置如下：

# specify your configurations as a dict
params = {
    'boosting_type': 'gbdt',
    'objective': 'regression',
    'verbose': 0
}

print('Starting training...')
# train
gbm = lgb.train(params,
                lgb_train,
                valid_sets=lgb_eval)

print('Starting predicting...')
# predict
y_pred = gbm.predict(X_test)
# eval
rmse_test = mean_squared_error(y_test, y_pred) ** 0.5
print(f'The RMSE of prediction is: {rmse_test}')

3. 注意事项

3.1 分类问题

二分类的参数选择：

params = {
    'boosting_type': 'gbdt',
    'objective': 'binary',
    'metric': 'binary_logloss'
}

这里涉及到了objective的种类，包括 regression, regression_l1, huber, fair, poisson, quantile, mape, gamma, tweedie, binary, multiclass, multiclassova, cross_entropy, cross_entropy_lambda, lambdarank, rank_xendcg

3.2 不平衡的数据处理

在分类问题下，使用imblearn处理不平衡的数据。参考代码如下：

from imblearn.under_sampling import RandomUnderSampler
rus = RandomUnderSampler(sampling_strategy=0.8,random_state=42)
df_x_train_balanced, df_y_train_balanced = rus.fit_resample(df_x_train, df_y_train)

也可以使用升采样的算法，比如

from imblearn.over_sampling import SMOTE
# 比如:经过过采样，我们想把数据集正负样本比例设置成10:1
# sampling_strategy这个参数控制采样后负样本占总样本的比例，这一个尤其注意
sm = SMOTE(sampling_strategy=0.1, random_state=10, k_neighbors=5, n_jobs=-1)
X_res, y_res = sm.fit_resample(X, y)

3.3 参数重要度等图

使用lgb.plot_importance绘制Feature importance图
使用lgb.plot_tree绘制分类树
使用shap算法包绘制另一种参数重要度图：

import shap
explainer = shap.TreeExplainer(model)
shap_values = explainer.shap_values(df_x_train)
shap.summary_plot(shap_values, df_x_train) 
#shap.summary_plot(shap_values, df_x_train, plot_type="bar")