决策树是如何选择特征和分裂点？

©PaperWeekly 原创 · 作者｜贲忠奇

单位｜便利蜂算法工程师

研究方向｜推荐算法、反作弊

缘起

在解决回归和分类问题的时候，一般会使用 Random Forest、GBDT、XGBoost、LightGBM 等算法，这类算法因为性能好，被业界广泛采用。突然想到树类型的算法都需要明白一个基本问题，树是如何选择特征和分裂点的？其根本要追溯到决策树的种类，每种是如何划分特征和分裂点，以及如何剪枝的。

决策树分为三类：ID3、C4.5、CART。提出时间却是 1984 年提出 CART，1986年提出的 ID3，1993 年提出的 C4.5。在介绍决策树之前需要了解一些信息论的知识，信息、熵、条件熵、信息增益。决策树中的 ID3 和 C4.5 与信息论息息相关。

信息论基础

信息是杂乱无章数据的一种度量方式。在分类问题中，如果待分类的事物可以划分在多个分类中，那么某个分类 的信息定义为：

其中， 是某个分类的信息； 是选择该分类的概率。

熵是信息的期望，也就是计算所有分类包含信息的期望值：

其中，H(Y) 表示分类数据集的熵。

条件熵是在特征 X 给定条件下，类别 Y 的条件概率分布的熵对特征 X 的数学期望。

其中， 表示在特征 X 下的条件熵； 表示特征下 具体特征值的条件熵； 表示 x 和 y 的联合概率分布。

在划分数据集之前之后信息发生的变化叫做信息增益，信息增益是熵的减少或者说是数据无序程度的减少。熵减去条件熵就是信息增益。

其中，