决策树的学习主要包含三个方面,分别是特征选择,决策树生成,和决策树的剪枝。我们首先介绍一下决策树是怎么分类的,然后详细介绍一下决策树的学习过程。
1. 决策树的分类(决策树也可以用于回归)
决策树是一种常用算法,很多集成算法的底层就是决策树,比如GBDT,XGBoost,因此了解决策树是如何分类的就变得尤为重要了。
决策问题一般的判定为“是”或者”不是”,这是简单的二分类问题。比如,老板让你去买一个西瓜,你怎么知道这个是好瓜,或不是好瓜。
因此,你就有了一些判定标准,比如,根据瓜的外观,可以看一下它的色泽是怎么样的,根蒂是什么样的,根据瓜的内里,可以看一下它的敲声是怎么样的。这里的色泽,根蒂,敲声是判定一个瓜是好瓜的标准,我们称它为此次决策的特征。如果他是好瓜,那它的决策树应该是这样的。如图:
决策树学习的目的就是找到一颗泛化能力强的树,所谓的泛化能力强,就是在新数据上的分类效果与训练数据上的分类效果相差不大。而决策树的思想是“分而治之”。
它的学习过程是这样的,先找到一个最优特征,根据这个最优特征对数据进行分割,比如前面西瓜的例子,如果选择色泽作为最优特征,假设色泽分为青绿色和黄色,青绿色是好瓜,黄色不是好瓜,那么第一次分类,算法就会把数据分割成两个部分,分别是青绿色的瓜和黄色的瓜。但是仅仅一个特征并没有把数据完美的进行分类,因此就需要第二个最优特征对数据进行再划分,以此类推,直到所有的训练数据子集都被基本分类正确之后,就生成了一个决策树。
2. 特征选择
信息熵
决策树学习的第一大问题是:怎么找到这样的最优划分特征呢?如何来衡量最优?
什么是最优特征,通俗的理解是对训练数据具有很强的分类能力的特征,比如要看一个男明星和一个女明星是否会在一起,他们的年龄差这个特征就远比他们的出生地重要,因为年龄差能更好得对 明星是否会在一起 这个分类问题具有更强的分类能力。
但是计算机并不知道哪些特征是最优的,因此,就要找一个衡量特征是不是最优的指标,使得决策树在每一个分支上的数据尽可能属于同一类别的数据,即样本纯度最高。
我们用熵来衡量样本集合的纯度。
这是概率统计与信息论中的一个概念,定义为:
我们可以从两个角度理解这个概念。
第一就是不确定度的一个度量,我们的目标是为了找到一颗树,使得每个分枝上都代表一个分类,也就是说我们希望这个分枝上的不确定性最小,即确定性最大,也就是这些数据都是同一个类别的。熵越小,代表这些数据是同一类别的越多。
第二个角度就是从纯度理解。因为熵是不确定度的度量,如果他们不确定度越小,意味着这个群体的差异很小,也就是它的纯度很高。比如,一个高级商业聚会,来的人大多是商业精英,乞丐就会很少,如果新来了一个人,他是精英的确定性就很大,不确定性就很小,同时这个群体的纯度很大。总结来说就是熵越小,纯度越大,而我们希望的就是纯度越大越好。
信息增益
我们用信息熵来衡量一个分支的纯度,那哪个特征是最优的特征呢?
在决策树学习中应用信息增益准则来选择最优特征。信息增益定义如下:
具体计算如下:
如图所示:
从这17个西瓜中任选一个,是好瓜,坏瓜的概率分别是 P1=8/17,p2=9/17 P 1 = 8 / 17 , p 2 = 9 / 17 ,这17个样本用D表示,它的信息熵为