机器学习之集成学习进阶

集成学习进阶

• xgboost
• lightGBM

xgboost

xgboost原理

XGBoost（Extreme Gradient Boosting）全名叫极端梯度提升树，XGBoost是集成学习⽅法的王牌，在Kaggle数据挖掘 ⽐赛中，⼤部分获胜者⽤了XGBoost。

目标函数：

CART树：

树的复杂度：

计算分裂节点：

停⽌分裂条件判断

xgboost算法

xgboost的安装：

pip install xgboost

xgboost参数介绍：
xgboost中封装了很多参数，主要由三种类型构成：通⽤参数（general parameters），Booster 参数（booster parameters）和学习⽬标参数（task parameters）

• 通⽤参数：主要是宏观函数控制；
• Booster参数：取决于选择的Booster类型，⽤于控制每⼀步的booster（tree, regressiong）；
• 学习⽬标参数：控制训练⽬标的表现。

通⽤参数（general parameters）:

booster [缺省值=gbtree] 决定使⽤哪个booster，可以是gbtree，gblinear或者dart。 gbtree和dart使⽤基于树的模型(dart 主要多了 Dropout)，⽽gblinear 使⽤线性函数.

silent [缺省值=0] 设置为0打印运⾏信息；设置为1静默模式，不打印

nthread [缺省值=设置为最⼤可能的线程数] 并⾏运⾏xgboost的线程数，输⼊的参数应该<=系统的CPU核⼼数，若是没有设置算法会检测将其设置为CPU 的全部核⼼数

Booster 参数（booster parameters）:

学习⽬标参数（task parameters）:

案例

import matplotlib.pyplot as plt
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.feature_extraction import DictVectorizer
from xgboost import XGBClassifier
#1.获取数据
titan = pd.read_csv("titanic.txt")

#2.数据的基本处理
#特征值+目标值
x = titan[['pclass','age','sex']]
y = titan['survived']
#缺失数据处理
x['age'].fillna(value=titan['age'].mean(),inplace=True)
#数据集划分
x_train,x_test,y_train,y_test = train_test_split(x,y,random_state=22,test_size=0.2)

#3.特征工程
x_train = x_train.to_dict(orient='records')
x_test = x_test.to_dict(orient='records')
transfer = DictVectorizer()
x_train = transfer.fit_transform(x_train)
x_test = transfer.fit_transform(x_test)

#4.xgboost模型训练
#初步模型训练
xg = XGBClassifier()
xg.fit(x_train,y_train)
print(xg.score(x_test, y_test))
#对max_depth进行调优
depth_range = range(10)
score = []
for i in depth_range:
    xg = XGBClassifier(eta=1,gamma=0,max_depth=i)
    xg.fit(x_train,y_train)
    s = xg.score(x_test,y_test)
    print(s)
    score.append(s)
#调优结果可视化
plt.plot(depth_range,score)
plt.show()

lightGBM

lightGBM原理：

lightGBM 主要基于以下⽅⾯优化，提升整体特特性：

1. 基于Histogram（直⽅图）的决策树算法
2. Lightgbm 的Histogram（直⽅图）做差加速
3. 带深度限制的Leaf-wise的叶⼦⽣⻓策略
4. 直接⽀持类别特征
5. 直接⽀持⾼效并⾏

基于Histogram（直⽅图）的决策树算法：

优点：

• 内存消耗降低
• 计算的时间复杂度降低

缺点：

• 分割不精确，可能对计算结果有影响

Lightgbm 的Histogram（直⽅图）做差加速：

带深度限制的Leaf-wise的叶⼦⽣⻓策略：

直接⽀持⾼效并⾏：

lightGBM算法api介绍

安装：

pip install lightgbm

参数介绍：

案例

import lightgbm as lgb
from sklearn.datasets import load_iris
from sklearn.model_selection import GridSearchCV
from sklearn.model_selection import train_test_split

# 读取数据
iris = load_iris()
data = iris.data
target = iris.target

# 数据基本处理
x_train, x_test, y_train, y_test = train_test_split(data, target, test_size=0.2)

# 模型训练
# 模型基本训练
gbm = lgb.LGBMRegressor(objective='regression', learning_rate=0.05, n_estimators=200)
gbm.fit(x_train, y_train, eval_set=[(x_test, y_test)], eval_metric='11', early_stopping_rounds=3)
print(gbm.score(x_test, y_test))
# 通过网格搜索进行训练
estimators = lgb.LGBMRegressor(num_leaves=31)
param_grid = {
    'learning_rate': [0.01, 0.1, 1],
    'n_estimators': [20, 40, 60, 80]
}
gbm = GridSearchCV(estimators, param_grid, cv=5)
gbm.fit(x_train, y_train)
gbm.best_params_
gbm = lgb.LGBMRegressor(objective='regression', learning_rate=0.05, n_estimators=200)
gbm.fit(x_train, y_train, eval_set=[(x_test, y_test)], eval_metric='11', early_stopping_rounds=3)
print(gbm.score(x_test, y_test))