机器学习——决策树与随机森林

一、决策树

1.决策树的结构

      决策树为树形结构，主要组成部分为非叶子节点（代表一个属性测试）、分支（代表测试输出）、叶子节点（代表一种类别）。

2.基本思想

      以信息熵为度量构造一颗熵值下降最快的树，到叶子节点的熵值为0（感觉类似于哈夫曼，贪心法）。根节点处熵值最大，熵值为0，表示不确定性为0。

3.决策树学习的算法

      决策树学习的算法的最大优点可以自学习，只需对训练数据进行标注（如：给定决策树的表格X1,X2……Xn,Y），属于有监督学习，从一类无序、无规则的事物中推理出决策树表示的分类规则。

      决策树学习的生成算法，关键是当前状态下选择哪个属性作为分类依据，根据不同的目标函数建立决策树的算法分为三种：ID3算法、C4.5算法、CART算法。

 

二、信息增益

      当熵和条件熵中的概率由数据统计得到时，所对应的熵和条件熵分别为经验熵和经验条件熵。

      信息增益：表示得知特征A的信息，使得类X的信息不确定性减少的程度。

      定义：特征A对训练数据集的信息增益为g(D,A)，定义为集合D的经验熵与特征A给定条件下的D的经验条件熵H(D|A)之差。g(D,A)=H(D)-H(D|A)（即数据集D和特征A的互信息）。