机器学习之决策树

决策树几种常见的生成算法

ID3算法

1. 选择信息增益最大的特征
   信息增益的定义：
          已知特征X的信息而使得类Y的信息的不确定性减少的程度。
   $$g\left(D,A\right)=H\left(D\right)-H\left(D|A\right)$$信息增益具体计算方法：
   1. 计算数据集的经验熵H(D)
      $$H\left(D\right)=-\sum _{k=1}^K\frac{\left|C_k\right|}{\left|D\right|}{\log }_2\frac{\left|C_k\right|}{\left|D\right|}$$D表示样本的数量， C k {C_k}