【分类器】-决策树Decision Tree

决策树

V0.0.2
简单而言决策树是一种树形结构，决策树是用来回答yes和no的问题，通过树的结构将各种情况组合表示出来，每个分支表示一次选择，指导所有的选择进行完毕，最终给出正确答案。[网友总结]

本文分为三部分进行学习：
-1.简介
-2.节点的选择
-3.实例介绍
-4.熵的概念:ID3,C4.5,C5.0

---

1.简介

-1.1：监督学习
-1.2：已知发生各种概率的基础上，通过决策树来求取净现值的期望值大于等于零的概率，评估项目风险，判断其可行性的决策分析方法。
-1.3：常见算法：ID3,C4.5,C5.0-[百度百科]

2.节点的选择

一节点类型：一般包括三种类型的节点：

–*决策节点：*

 分类方案的选择。划分数据集最大的原则是：将无序的数据变得更加有序。此时引入了熵的概念。

–*机会节点：*

–*终结点：*

3.实例介绍

4.熵

-4.1：简介
熵越小，说明信息划分越明显。反之则信息越混乱
熵定义为信息的期望。求得熵需要知道信息的定义，如果待分类的事务可能划分在多个分类中，则信息定义为：

$l_{(x_i)} =- \log_2P(x_i)$
其中 $x_i$代表