决策树——信息熵与信息增益

参考：[https://www.cnblogs.com/YouXiangLiThon/p/7214393.html]

1、信息熵、条件熵、信息增益

信息熵(Entropy)：度量随机变量Y={c1，c2,c3…,ck}的不确定性，熵越大，不确定性越高。在分类中类别越多，也就说包含的信息越多，熵越大。
计算方法：X表示某个分类，p(x)选择该分类的概率。H（X）所有类别之和。如果只有一个分类，则p(x)=1,熵即为0，熵越小，越确定。

例如：天气预报的例子，

在14天中，play=no的事件为5，paly=Yes的事件为9.分类之前，信息熵（只看结果）

条件熵（Information Gain）：用来衡量已知随机变量T的条件下，随机变量Y的不确定性。也就是在根据特征T划分样本的条件下，Y的熵。

信息增益（Information Gain）：根据特征T进行数据集划分后，信息熵的变化，划分数据集时应该选择获取最大信息增益的方法。看划分数据集之后的信息熵以及信息增益。划分数据集的目的就是寻求在决策树中最显著的特征，所以要对每一个特征划分数据集的结果计算一次信息熵（Information Gain）。 信息增益大的特征，分类能力越强。

2、决策树的类型

1. ID3
2. C4.5
3. CART
   区别 ID3无法对数值型的特征直接处理，比如年收入，需要人工提前将特征量化好。后面的C4.5和CART 可以自动处理连续特征。