机器学习算法在钻速预测优化方面的应用 ---- 03LightGBM及相关树模型

LightGBM及相关树模型

回归决策树算法

决策树算法是一种比较常见而又简单的机器学习算法，既可以应用于分类问题中，也可以应用于回归问题中，通常将应用于分类问题的决策树称为分类树，将应用于回归问题的决策树称为回归树。决策树是一种树形结构的模型，可以将其看作是若干if-then规则的组合。决策树由若干节点和有向边组成。其中，节点又分为内部节点和叶节点两种类型。
在构建决策树的过程中，存在两个最重要的问题：
１）如何对属性进行划分。
２）如何确定叶节点的输出值。
回归树通常采用启发式贪心算法，即遍历节点样本中的所有属性以及每个属性的所有取值，对输入空间进行**划分，**最终寻找到某个属性的某个取值，使得在这种情况下，回归树的损失最小。