决策树CART算法、基尼系数的计算方法和含义

决策树CART算法——基尼系数

决策树的CART算法使用基尼系数来选择划分属性。一个数据集的纯度可以用基尼系数来度量

$\begin{array}{r}Gini(D)=\sum _{k=1}^{|y|}\sum _{k^{\prime }̸=k}{p}_k{p}_{k^{\prime }}=1-\sum _{k=1}^{|y|}{p}_k^2\end{array}$

直观来说，数据集的基尼系数反映了从数据集D中随机抽取两个样本，其类别不一样的概率。因此，基尼系数越小，数据集的纯度越高。

那么属性a的基尼系数为

$\begin{array}{r}Gini\_index(D,a)=\sum _{v=1}^V\frac{|D^v|}{D}Gini(D^v)\end{array}$

与数据集D中a属性的熵值计算类似，参考我的博文1和我的博文2

于是，我们在候选属性集合A中，选择那个使得划分后的基尼指数值最小的属性作为最优划分属性

$a_{\ast }=argmi{n}_{a\in A}Gini\_index(D,a)$