决策树（Decision Tree）

决策树

决策树是一种基本的分类、回归方法，呈树形结构。决策树定义如下：

定义（决策树）： 分类决策树模型是一种描述对实例进行分类的树形结构。决策树由结点和有向边组成。结点有两种类型：内部结点和叶结点。内部结点表示一个特征或属性，叶结点表示一个类。

决策树学习时，利用训练数据，根据损失函数最小化的原则建立决策树模型，预测时，对新的数据，利用决策树模型进行分类。决策树的学习包括三个步骤：特征选择，决策树的生成和决策树的修剪。

特征选择

特征选择通过选取对训练数据具有更强分类能力的特征，提高决策树学习的效率。如果利用一个特征进行分类的结果与随机分类的结果没有很大差别，则称这个特征是没有分类能力的。通常，特征选择的准则是信息增益或信息增益比。

信息增益（ID3算法）

熵是随机变量不确定性的度量，有限取值的离散随机变量$X$的熵P为，$$H(X)=\sum _{i=1}^n{p}_i\log p_i,$$其中$p_i=P(X=x_i),i=1,\cdots ,n$。当$X$取各值的概率相等、即$p_1=\cdots =p_n$时，随机变量的不确定性最大，熵$H(X)$也最大。

条件熵定义为，$$H(Y|X)=\sum _{i=1}^n{p}_{i}H(|Y|X=x_i),$$其中$H(Y|X=x_i)$为将$H(X)$中的先验概率换为条件概率$P(Y=y_j|X=x_i)$，其含义是随机变量$X$取值为$x_i$时，随机变量$Y$的不确定性。$H(Y|X)$为随机变量$X$确定时，随机变量$Y$的平均不确定性，平均取在$X$的所有可能值上。

例如，若$Y$与$X$具有很强的联系——$Y$可由$X$唯一确定，则$H(Y|X=x_i)=0$，相应的条件熵也为零，即当$X$确定时，$Y$的不确定性为0。

信息增益表示得知特征 X X X<