决策树

目录

信息熵

决策树建立

条件熵

推导条件熵的定义式

相对熵

互信息

决策树的实例

决策树示意图

决策树学习的生成算法

信息增益

Gini系数

---

信息熵

　信息熵是一个数学上颇为抽象的概念，在这里不妨把信息熵理解成某种特定信息的出现概率（离散随机事件的出现概率）。一个系统越是有序，信息熵就越低；反之，一个系统越是混乱，信息熵就越高。信息熵也可以说是系统有序化程度的一个度量。

决策树建立

假设有n个样本，假设有一个根节点，将N个样本列在根节点当中，给出一种分割规则，分为左边和右边分支。后面的依次递归。

 

概率为1，信息量为0，事件一定发生和不发生，熵都为0，中间0.5的熵最大，离散数据。

 

条件熵

 

推导条件熵的定义式

 

 

相对熵

互信息

决策树的实例

 

决策树示意图

决策树是一种树型结构，其中每个内部结点 表示在一个属性上的测试，每个分支代表一 个测试输出，每个叶结点代表一种类别。决策树学习是以实例为基础的归纳学习。决策树学习采用的是自顶向下的递归方法， 其基本思想是以信息熵为度量构造一棵熵值 下降最快的树，到叶子节点处的熵值为零， 此时每个叶节点中的实例都属于同一类。

 

决策树学习的生成算法

信息增益

Gini系数

基尼系数是指国际上通用的、用以衡量一个国家或地区居民收入差距的常用指标。基尼系数最大为“1”，最小等于“0”。基尼系数越接近0表明收入分配越是趋向平等。国际惯例把0.2以下视为收入绝对平均，0.2-0.3视为收入比较平均；0.3-0.4视为收入相对合理；0.4-0.5视为收入差距较大，当基尼系数达到0.5以上时，则表示收入悬殊。