深入浅出——决策树

请你思考：
1、决策树的核心思想是什么？
2、决策树生成过程中，特征选择有哪个准则？它们之间有什么关系？
3、决策树可以适用于所有情形吗？

一、定义(definition)

• 基本定义
  决策树是基于特征对实例进行分类的树形结构，它是一种监督学习方法。

• 决策树算法三要素
  1、特征选择
  2、决策树生成
  3、决策树剪枝

二、生成过程

本质： 使用满足划分准则的特征不断的将数据集划分为纯度更高，不确定性更小的过程（对原始数据进行划分，每次划分后新的子数据集内部纯度更高，不确定更小）。

在本质 中我们看到三个关键字，分别是划分准则、纯度 和不确定性。下讨论它们之间的关系。

1、不确定性（熵）

• 特点
  度量随机变量的不确定性（纯度）。

• 定义
  假设随机变量$X$ 的可能值有$x_1, x_2,$…$x_n$, 对于每一个可能的取值$x_i$，其概率$P(X=x_i)$ = $p_i$, ($i=1,2,...n$),因此随机变量$X$的熵为：
  

  H(X)=−∑i=1npilog2p