机器学习优秀文献--整理中

LightGBM 中文文档

LightGBM原理详解

1. 基于Histogram的决策树算法

关键点：直方图算法, bin分箱，最大增益（遍历寻找最优的分割点）

直方图算法的基本思想是先把连续的浮点特征值离散化成k个整数，同时构造一个宽度为k的直方图。

在遍历数据的时候，根据离散化后的值作为索引在直方图中累积统计量，当遍历一次数据后，直方图累积了数据的统计量，然后根据直方图的离散值，遍历寻找最优的分割点。

Histogram算法并不是完美的。由于特征被离散化后，找到的分割点并不是很精确的分割点，所以会对结果产生影响。但在不同的数据集上的结果表明，离散化的分割点对最终的精度影响并不是很大，甚至有时候会更好一点。原因是决策树本来就是弱模型，分割点是不是精确并不是很重要；较粗的分割点也有正则化的效果，可以有效地防止过拟合；即使单颗树的训练误差比精确分割算法稍大，但在梯度提升（Gradient Boosting）的框架下没有太大的影响。
 

Lightgbm如何处理类别特征？