一、决策树原理说明
日常生活中,我们对于事物的认知都是基于特征的判断与分类,例如,我们要判断一个西瓜是不是好西瓜,通常会进行一系列的判断,如先看它是什么颜色,它敲起来是什么声音。决策树就是采用这样的思想进行甄别。
当有一堆西瓜混在一起,我们要进行好瓜坏瓜区分,就要基于多个特征进行分类决策,过程如下图所示:
这个过程确实就像一棵倒置的树。
- 节点:能够进行分叉的结点(图中方块)
- 叶子节点:没有进行分叉的结点(图中椭圆)
在决策树的每个结点处,根据特征的表现通过某种规则分裂出下一层的叶子节点,终端的叶子节点即为最终的分类结果。也就是说,我们通过一个又一个条件判断,不断的对这堆西瓜进行划分,最终给出好瓜坏瓜的结论。决策树学习的关键就是选择最优划分属性。随着逐层划分,决策树分支结点所包含的样本类别会逐渐趋于一致,决策树算法追求的目标,就是寻找最有效的特征进行划分,即节点分裂时要使得节点分裂后的信息增益(Information Gain)最大,这里列出决策树中判断信息量增减的方法,信息熵(Entropy)和基尼系数(Gini)的计算公式。
t 代表给定的节点
i 代表标签的任意分类,p(i|t)p(i|t) 代表标签分类 i 在节点 t 上所占的比例。
这两个公式就是衡量信息不纯度的指标,可以用来衡量每次决策前后,信息混程度变化的情况。
好了,经过这两个公式和熵、基尼系数、信息增益的概念引入,已经让本篇内容不够亲切了