LightGBM

1、LightGBM
https://www.cnblogs.com/jiangxinyang/p/9337094.html
2、LightGBM的起源
https://www.jianshu.com/p/3daf08229d78
3、Histogram VS pre-sorted
Histogram先做binning然后寻找最优划分点

4、leaf-wise VS level-wise
level-wise逐层构造节点，level-wise每次选择损失函数减小最大的节点分裂
5、特征并行和数据并行
https://lightgbm.readthedocs.io/en/latest/Features.html#feature-parallel-in-lightgbm
https://lightgbm.readthedocs.io/en/latest/Features.html#data-parallel-in-lightgbm
6、顺序访问梯度

7、支持类别特征
节点分裂时将类别特征划分为两组
https://blog.csdn.net/qq_42874547/article/details/99635525

8、应用场景
分类问题、回归问题均可使用

9、sklearn参数
boosting_type：优化方法
num_leaves：决策树最大叶结点数量
max_depth：决策树最大深度
learning_rate：学习率
n_estimators：基础学习器数量
subsample_for_bin：确定binning边界时时考虑的样本数量
objective：优化函数
class_weight：类别权重
min_split_gain：节点继续分裂最小损失函数下降
min_child_weight：叶结点最小样本权重
min_child_samples：叶结点最小样本数量
subsample：样本抽样
subsample_freq：样本抽样
colsample_bytree：特征抽样
reg_alpha：正则化变量
reg_lambda：正则化变量
random_state：随机种子
n_jobs：控制并行
silent：控制输出