本篇文章将从决策树模型的原理开始讲起,通过解决如何在夏日中挑选西瓜这一问题来全面掌握。
本文目录:
一:问题导向
夏日炎炎,我们如何使用过去的经验来判断一个西瓜是不是好瓜呢?
我们一般会根据它的 色泽,根蒂,敲声,纹理,触感等等来判断它是不是一个好瓜。
以下是去年父亲买瓜时的信息:
色泽,根蒂,敲声,纹理,脐部,触感,好坏
青绿,蜷缩,浊响,清晰,凹陷,硬滑,好瓜
乌黑,蜷缩,沉闷,清晰,凹陷,硬滑,好瓜
乌黑,蜷缩,浊响,清晰,凹陷,硬滑,好瓜
青绿,蜷缩,沉闷,清晰,凹陷,硬滑,好瓜
浅白,蜷缩,浊响,清晰,凹陷,硬滑,好瓜
青绿,稍蜷,浊响,清晰,稍凹,软粘,好瓜
乌黑,稍蜷,浊响,稍糊,稍凹,软粘,好瓜
乌黑,稍蜷,浊响,清晰,稍凹,硬滑,好瓜
乌黑,稍蜷,沉闷,稍糊,稍凹,硬滑,坏瓜
青绿,硬挺,清脆,清晰,平坦,软粘,坏瓜
浅白,硬挺,清脆,模糊,平坦,硬滑,坏瓜
浅白,蜷缩,浊响,模糊,平坦,软粘,坏瓜
青绿,稍蜷,浊响,稍糊,凹陷,硬滑,坏瓜
浅白,稍蜷,沉闷,稍糊,凹陷,硬滑,坏瓜
乌黑,稍蜷,浊响,清晰,稍凹,软粘,坏瓜
浅白,蜷缩,浊响,模糊,平坦,硬滑,坏瓜
青绿,蜷缩,沉闷,稍糊,稍凹,硬滑,坏瓜
但我们会对这些判断条件有一个优先级,先要挑最重要的那个因素考虑,可能对西瓜而言没有这么明显,但当我们去看医生时,如果我们的症状是腹泻,头疼,脱水,昏厥,那么医生会按照 昏厥 这个 权重最大 的症状先判断生命特征,再按照 *脱水 *去开点滴,再按照 腹泻 判断可能是肠胃炎等等。
树结构大家应该都熟知了,通过根节点开始,通过判断节点信息的是或否决定分支,逐次向下,最后在叶子节点生成最终的决策。
决策树的过程和这个类似,就是先挑“权重”最大的那个考虑,然后再往下细分。
那么我们用一个什么标准来 衡量某个特征是权重最大的呢?
这里有信息增益和基尼系数两个。我们使用ID3算法
ID3算法采用的是信息增益这个量。
二:ID3算法的预备知识
(理论熟练的同学可以跳过这一部分)
2.1 熵
在物理中: 熵是混乱的度量指标。
对于一个数据集而言,它的类别越多,越混乱.
我们引入 “信息熵” 来作为度量样本集合混乱度(纯度)的指标,采用信息增益这个量来作为纯度的度量,选取信息增益最大的特征进行分裂(即作为结点)。
信息熵的计算公式是:
E ( x ) = − ∑ i = 1 N p ( x i ) l o g 2   p ( x i ) E(x)= -\sum_{i=1}^N p(x_i)log_2 \, p(x_i) E(x)=−i=1∑Np(xi)log2p(xi)
2.2 . 信息增益
构造树的基本想法是随着树深度的增加,节点的熵迅速地降低。熵降低的速度越快越好,这样我们有望得到一棵高度最矮的决策树。
在没有给定西瓜信息时,根据去年数据,我们只知道新的一个瓜好瓜的概率为8/17,坏瓜的概率为9/17.此时的熵为:
E n ( x ) = − 8 17 l o g 2   8 17 − 9 17 l o g 2   9 17 = 0.511 + 0.486 = 0.997 E_n(x)= - \frac{8}{17}log_2 \, \frac{8}{17}-\frac{9}{17}log_2\,\frac{9}{17}=0.511+0.486=0.997 En(x)=−178log2178−179log217