人工智能---决策树

决策树学习采用的是自顶向下的递归方法， 其基本思想是以信息熵为度量构造一棵熵值 下降最快的树，到叶子节点处的熵值为零， 此时每个叶节点中的实例都属于同一类。

建立决策树的关键，即在当前状态下选择哪 个属性作为分类依据。

决策树很好理解，主要是信息增益，信息增益比，基尼系数中熵的概念的理解是理解决策树的关键

熵

两个随机变量X，Y的联合分布，可以形成联合熵Joint Entropy，用H(X,Y)表示

 H(X,Y) – H(X) (X,Y)

发生所包含的熵，减去X单独发生包含的熵：在X发生的前提下，Y发生“新”带来的熵

该式子定义为X发生前提下，Y的熵： 条件熵H(X|Y)

遍历所有特征，对于特征A: ·    计算特征A对数据集D的经验条件熵H(D|A) ·    计算特征A的信息增益：g(D,A)=H(D) – H(D|A) ·    选择信息增益最大的特征作为当前的分裂特征

代码都没搞懂....