决策树个人理解

    
    

     
     

      
      """
     
     
     
     

      
      香农熵：
     
     
     
     

      
          在信息论中，熵是接收的每条消息中包含的信息的平均量，又被称为信息熵、信源熵、平均自信息量。这里， 消息代表来自分布或数据流中的事件、样本或特征。
     
     
     
     

      
          （熵最好理解为不确定性的量度而不是确定性的量度，因为越随机的信源的熵越大。）
     
     
     
     

      
          
     
     
     
     

      
      决策树：
     
     
     
     

      
          1、计算当前的信息熵HB，计算每个特征的信息熵的期望Hi，选择能使HB-Hi最大的那个
     
     
     
     

      
          特征作为这次的分类特征。(能否理解为每次选择熵减少最多的方向)
     
     
     
     

      
          2、直到无法分类为止，只有一个类别了或则所有特征都用作分类了
     
     
     
     

      
          
     
     
     
     

      
          
     
     
     
     

      
      对于决策树的理解：
     
     
     
     

      
          决策树，就是为了更好的进行分类。那么怎样的分类才比较好呢（选择什么属性来分），
     
     
     
     

      
          在进行分类的时候，我们当然是想每个分类里面的个体都是比较相近的，即比较纯的。
     
     
     
     

      
          
     
     
     
     

      
          在前面我们已经了解到，熵可以反映系统的有序程度。熵越大，代表系统越无序(不纯)。熵越小
     
     
     
     

      
          代表系统越有序(纯)。所以引进信息熵来描述系统的纯度。
     
     
     
     

      
          
     
     
     
     

      
          有那么多的属性，选择哪个属性分的类更纯呢。所以我们需要计算连个值，一个是系统当前
     
     
     
     

      
          的熵，第二个是按某个属性划分的子系统的熵的期望(条件熵：属性便是条件)。选择能使
     
     
     
     

      
          熵 减 条件熵 的 值最大的属性作为当前系统的分类属性。
     
     
     
     

      
      """
     
     
    
    

参考：

熵：

https://zh.wikipedia.org/wiki/%E7%86%B5_(%E4%BF%A1%E6%81%AF%E8%AE%BA)#.E7.86.B5.E7.9A.84.E8.AE.A1.E7.AE.97

条件熵：

https://zh.wikipedia.org/wiki/%E6%9D%A1%E4%BB%B6%E7%86%B5

决策树PPT：

http://wenku.baidu.com/link?url=8Z1oRet3uYd-HcRuLXKv-QhgyuKWjaZ5PRFXOzDS_CwiWiVXuVGaMpU96HbbxjZ7SmiXwB8EN9OWPGH_CYmbcAQgpOlr6z2FBRuzkJR5su7

决策树的博文：

http://www.hankcs.com/ml/decision-tree.html

《机器学习实战》