决策树算法梳理

1.信息论基础（熵 联合熵 条件熵 信息增益 基尼不纯度）

• 熵（entropy）
  熵是表示随机变量不确定性的度量，如果一件事有n nn种可能结果，每种结果的概率为pi(i=1,2…,n) , (i=1,2…,n)，那么熵表示为
  $$H(x)=-\sum _{i=1}^n{p}_i\ast lo{g}_{2}pi$$

​ 熵越大，随机变量的不确定性就越大

当p=0或者p=1时，H§=0,随机变量完全没有不确定性，
当p=0.5时，H§=1 熵最大，即随机变量的不确定性最大。
熵的不确定性变化可以用上图来表示

• 联合熵
  服从联合分布为p(x,y)的一对离散型随机变量(X,Y) ，其联合熵H(X,Y)定义为：
  

• 条件熵
  H(Y∣X)表示在已知随机变量X的条件下随机变量Y的不确定性：
  

• 信息增益
  信息增益表示特征X使得类Y的不确定性减少的程度。特征A对训练数据集D的信息增益g(D,A) 定义为集合D的经验熵H(D)与特征A给定条件下D的经验条件熵H(D∣A) 之差
  $$g(D,A)=H(D)-H(D|A)$$

• 基尼不纯度
  基尼不纯度,是指将来自集合中的某种结果随机应用在集合中，某一数据项的预期误差率,即从一个数据集中随机选取子项，度量其被错误划分到其他组里的概率。
  G i n i ( p ) =