机器学习-决策树算法

1. 学习目标

• 掌握决策树实现过程
• 知道信息熵的公式以及作用
• 知道信息增益的作用
• 知道信息增益率的作用
• 知道基尼指数则作用
• 知道id3,c4.5，cart算法的区别
• 了解cart剪枝的作用
• 应用DecisionTreeClassifier实现决策树分类

2. 决策树算法简介

决策树：是一种树形结构，其中每个内部节点表示一个属性上的判断，每个分支代表一个判断结果的输出，最后每个叶节点代表一种分类结果，本质是一颗由多个判断节点组成的树（决策树思想的来源非常朴素，程序设计中的条件分支结构就是if-else结构，最早的决策树就是利用这类结构分割数据的一种分类学习方法）

3. 决策树分类原理

3.1 熵

物理学上，熵 Entropy 是“混乱”程度的量度。

系统越有序，熵值越低；系统越混乱或者分散，熵值越高。

信息理论：
1、从信息的完整性上进行的描述:

当系统的有序状态一致时*数据越集中的地方熵值越小，数据越分散的地方熵值越大。

2、从信息的有序性上进行的描述:

当数据量一致时，系统越有序，熵值越低；系统越混乱或者分散，熵值越高。

信息熵（Entropy）的概念：

假如事件A的分类划分是（A1,A2,…,An），每部分发生的概率是(p1,p2,…,pn)，那信息熵定义为公式如下：（log是以2为底，lg是以10为底）

3.2 决策树的划分依据一------信息增益

3.2.1概念

信息增益：以某特征划分数据集前后的熵的差值。熵可以表示样本集合的不确定性，熵越大，样本的不确定性就越大。