决策树
决策树:是一种非参数的有监督学习方法,它能够从一系列有特征和标签的数据中总结出决策规则,并用树状图的结构来呈现这些规则,以解决分类和回归问题。
先举个很直观的例子,有如下的一个数据表,根据其中的信息来判断是否去打球。
要根据以往的信息,来判断新的信息属于哪种情况,然后得出结论。但是单纯地从这张表上看,感觉会特别繁琐。于是人们想到了用决策树来处理这种情况,if-then的结构人们也比较容易直观理解。
这里给出关于决策树节点的一些概念。
决策树学习通常包括 3 个步骤:特征选择、决策树的生成和决策树的修剪。其中特征选择和决策树剪枝是核心问题。
特征选择
不纯度
决策树需要找出最佳节点和最佳的分枝方法,而衡量这个“最佳”的指标叫做“不纯度”。不纯度基于叶子节点来计算的.
因为分类型决策树在叶子节点上的决策规则是少数服从多数,如果一个叶子节点上,某一类别占比90%,那么我们倾向于该类别,样本被判错的概率就很低;若某一类别占比51%,另一类别占比49%,那么样本被判错的概率就很高。因此,不纯度越低,决策树对训练集的拟合越好。那么如何来衡量不纯度呢?这里引入熵的概念。
熵和Gini指数
熵一种信息的度量方式,表示信息的混乱程度。信息越有序,信息熵越低。以下是熵的计算公式。t代表决策树的某节点, 设p(i|t)表示给定结
点t中属于类别i的样本所占的比例,这个比例越高,节点越纯。
另一个指标则是Gini(基尼)指数,主要用于CART决策树的纯度判定中,基尼指数越大,样本集合的不确定性越大。其公式为:
用下面这个例子来说明下不纯度的计算:
决策树最终的优化目标是使得叶节点的总不纯度最低,即对应衡量不纯度的指标最低。
采用不同的方法来衡量不纯度,会产生不同的决策树。主要有ID3,C4.5,CART分类回归树。
ID3
ID3决策树采用信息熵来衡量不纯度