机器学习——基于基尼指数构建决策树

用信息增益来构建决策树感觉计算量好大啊，下面介绍新的一种构建决策树的方法

首先我要引入两个新的概念：基尼系数和基尼指数

基尼系数的作用和信息熵的作用相同，都是用来度量数据集的纯度的，公式如下：

Pk指的是在数据集中，取得正例的比例，pk'=1-pk

Gini（D）的值越小说明，数据的纯度越高，例如，给出一些西瓜的数据集，这些数据的西瓜都是好瓜，则说明，pk=1，从而得到Gini（D）=0.

那么怎么找出最优划分属性呢？

在信息增益中，我们把信息增益的值最大的作为最优属性，这是因为根据信息增益公式我们可以知道，信息增益的值越大，则说明该属性越重要。

基尼指数的公式：

在这个公式中，v指的是某一属性的取值数量。

以上表为例