gini系数 决策树_终于，这篇文章把决策树的原理讲明白了：熵、信息增益、基尼系数…（深度长文）...

决策树由一个根节点、若干个内部节点和叶节点构成，其中，叶节点对应决策结果，其他节点(根节点、内部节点)对应属性判断规则。决策树本质上是一层一层地根据条件递归做判断。

决策树既可以应用于分类任务，也可用于回归任务，具体是用于分类任务还是回归任务，主要取决于目标变量的连续性。如果目标变量为离散变量，则为分类；如果目标变量为连续变量，则为回归。

由于对应决策过程易于可视化、可同时应用于分类和回归任务、可处理大规模数据集等优点，决策树至今仍是监督式学习中应用最广泛的模型之一。

决策树究竟是如何做判断的呢？

案例

已知100个人的身高、体重，并且知道其中有60名男性、40名女性。先需要根据词数据集构造决策树，用于仅根据身高和体重两个属性判断是每个人的性别。

根据男女身高和体重的额差异，可能会问这个人的身高是否超过170cm或者体重是否超过60kg。根据上述过程，可以绘制如下图所示的决策树。其中，图1先根据身高判断，图2先根据体重判断。

以上两种判断过程，哪一种更合理呢？也就是按什么样的特征顺序进行划分，才能找到最纯净的划分(叶节点)？这就是决策树原理中最重要的一个方面：特征属性的重要性，即找出最能区别样本数据集的属性，作为优先判断条件，从而提高决策树的纯度。

01

树的纯度与特征属性重要性

目前，用于衡量树的纯度的方法有三种，纯度的的相反面是不纯度，不纯度越低，即纯度越高。下面是衡量决策树(不)纯度的三种算法。

(1)  ID3算法：使用信息增益作为分裂规则