基尼指数

基尼指数

定义

• 是一种不等性度量；
• 通常用来度量收入不平衡，可以用来度量任何不均匀分布；
• 是介于0~1之间的数，0-完全相等，1-完全不相等；
• 总体内包含的类别越杂乱，基尼指数就越大

基尼不纯度指标

在CART算法中, 基尼不纯度表示一个随机选中的样本在子集中被分错的可能性。基尼不纯度为这个样本被选中的概率乘以它被分错的概率。当一个节点中所有样本都是一个类时，基尼不纯度为零。 
假设y的可能取值为{1, 2, …, m},令fifi是样本被赋予i的概率，则基尼指数可以通过如下计算： 

cart分类书中的基尼指数

如果训练数据集D根据特征A是否取某一可能值a被分割为D1D1和D2D2两部分，则在特征A的条件下，集合D的基尼指数定义为 

基尼指数Gini(D)表示集合D的不确定性，基尼指数Gini(D,A)表示经过A=a分割后集合D的不确定性。基尼指数越大，样本的不确定性也就越大。

熵VS基尼指数

随机变量的熵表达形式 

随机变量的基尼系数表达形式 

主要区别在于，熵达到峰值的过程要相对慢一些。因此，熵对于混乱集合的判罚要更重一些。