CART树为什么使用GINI系数

项目github地址：bitcarmanlee easy-algorithm-interview-and-practice
欢迎大家star，留言，一起学习进步

1.ID3树与CART树的区别

ID3算法中，选择的是信息增益来进行特征选择，信息增益大的特征优先选择。
而在C4.5中，选择的是信息增益比来选择特征，以减少信息增益容易选择特征值多的特征的缺点。
但是无论是ID3还是C4.5，都是基于熵的模型，里面会涉及到大量的对数运算，能不能简化一下？

假设有数据集D，定义GINI指数
$$GINI\ast (D)=\sum _{i=1}^k{p}_k\ast (1-p_k)=1-\sum _{i=1}^k{p}_k^2$$

2.简单理解

从公式中可以看出来，基尼指数的意义是从数据集D中随机抽取两个样本类别标识不一致的概率。基尼指数越小，数据集的纯度越高。

相比于信息增益，信息增益比等作为特征选择方法，基尼指数省略了对数计算，运算量比较小，也比较容易理解，所以CART树选择使用基尼系数用来做特征选择。