决策树(decision tree)是一种基本的分类与回归方法。
决策树模型呈树形结构。在分类问题中,表示基于特征对实例进行分类的过程,它可以人为是if-else规则的集合,也可以认为是定义在特征空间与类空间上的条件概率分布。
if-else规则过程:
由决策树的根节点到叶节点的每一条路径对应一条规则;路径上内部结点的特征对应着规则的条件,而叶节点的类对应着规则的结论。
决策树本质是一组分类规则。
如何选择特征?
直观上,如果一个特征由更好的分类能力,就应该选择这个特征。信息增熵(information gain)能够很好地表示这一直观的准则。
随机变量的熵的定义:
[Math Processing Error]
H
(
X
)
=
−
∑
i
=
1
n
p
i
log
p
i
条件熵[Math Processing Error]
H
(
Y
|
X
)
表示在已知随机变量X的条件下随机变量Y的不确定性。定义为X给定条件下的Y的条件概率分布的熵对X的数学期望:
[Math Processing Error]
H
(
Y
|
X
)
=
∑
i
=
1
n
p
i
H
(
Y
|
X
=
x
i
)
一般地,熵H(Y)与条件熵H(Y|X)之差,成为互信息(mutual information)
信息增益(information gain)表示得知特征X的信息而使得类Y的信息不确定性减少的程度。
特征A对训练数据集D的信息增益 g(D,A),定义为集合D的经验熵H(D)与特征A给定条件下D的经验条件熵H(D|A)之差,即 g(D,A)=H(D)-H(D|A)
经验增益比。使用相对的概念来进行校正,这是特征选择的另一准则。
特征A对训练数据集D的信息增益比 [Math Processing Error]
g
R
(
D
,
A
)
=
g
(
D
,
A
)
H
(
D
)