机器学习算法组队学习——决策树

决策树

决策树是一种常见得机器学习方法，一颗决策树主要包含三个部分，一个根节点、若干内部节点和若干叶节点

信息增益

“信息熵”是度量样本几何纯度最常用得一种指标，定义为
考虑到不用得分支节点所包含得样本数不同，给分支节点赋予权重，样本数越多的分支节点影响力越大，于是可以得到“信息增益”
一般而言，信息增益越大，意味着用属性a来划分所获得的收益越大。

增益率

为了避免模型过分偏要用去之多的属性做划分，引入增益率。增益率定义为
其中
称为属性a的固有值，属性a的可能取值数目越多，则IV(a)的值通常会大。

基尼指数

基尼指数是衡量样本集纯度的指标。基尼系数定义为

决策树ID3，C4.5，CART的区别

ID3决策树算法是以信息增益为准则来选择划分属性，将信息增益最大的属性作为划分属性。
c4.5决策树算法不直接使用信息增益，而是使用增益率来选择最有划分属性。先从候选划分属性中找出信息增益高于平均水平的属性，再从中选择增益率最高的。
CART决策树算法使用基尼指数来选择划分属性，在后算属性集合A中，算则那个是的划分后基尼指数最小的属性作为最有划分属性。