LightGBM
什么是Light GBM?
LightGBM是一个基于决策树算法的梯度提升框架。
它有什么不同?
LightGBM对于树的生长使用的是Leaf-wise,而不是Level-wise。这样的做法主要是因为LightGBM认为Level-wise的做法会产生一些低信息增益的节点,浪费运算资源。其实通常来说,Level-wise对于防止过拟合还是很有作用的,所以大家都比较青睐与它相比与Leaf-wise。作者认为Leaf-wise能够追求更好的精度,让产生更好精度的节点做分裂。但这样带来过拟合的问题,所以作者使用的max_depth来控制它的最大高度。还有原因是因为LightGBM在做数据合并,Histogram Algorithm和GOSS等各个操作,其实都有天然正则化的作用,所以使用Leaf-wise来提高精度是一个很不错的选择。