什么是决策树
你是否玩过二十个问题的游戏,游戏的规则很简单:参与游戏的一方在脑海里想某个事物,
其他参与者向他提问题,只允许提20个问题,问题的答案也只能用对或错回答。问问题的人通过
推断分解,逐步缩小待猜测事物的范围。决策树的工作原理与20个问题类似,用户输入一系列数
据,然后给出游戏的答案。
信息熵
接下来介绍信息熵的概念,决策树的构造很大程度上需要信息熵这个工具
在上表中可以看到,有“不浮出水面”,“是否有脚蹼”两个特征,在构造决策树时,我们按照不同的特征进行划分,从而产生树的分支。而在每次划分之后,都有其对应的信息熵,而如果将分支后的信息熵与之前的信息熵进行对比,我们就得出了信息增益的概念。
按照“不浮出水面是否可以生存”这个特征进行划分,利用上面介绍的计算信息熵的公式进行计算,最后再分别乘以划分后各个标签占总标签数量的一个占比(这里的标签就是指“属于鱼类”中的“是”或“否”)。这里读者可以认为是一个全概率公式。这样就得出了一个新的信息熵,与之前的信息熵做差,就得出了信息增益,显然信息增益越大越好。
当然,,这样就会使得树的分支变得非常非常多,这是我们不希望看到的,于是我们就引进了信息增益率和基尼指数的概念。将他们与信息增益结合起来,可以更合理地构造决策树。
决策树的构造
在知道了决策树的原理之后,我们就通过代码来实现决策树的构造,下面有详细代码的讲解。并且使用文章前面提供一个简单的示例(是否属于鱼类的这个例子,读者可以往前翻看)来带入计算,以更好地理解决策树算法。
决策树的一般流程
(1) 收集数据:可以使用任何方法。
(2) 准备数据:树构造算法只适用于标称型数据,因此数值型数据必须离散化。
(3) 分析数据:可以使用任何方法,构造树完成之后,我们应该检查图形是否符合预期。
(4) 训练算法:构造树的数据结构。
(5) 测试算法:使用经验树计算错误率。
(6) 使用算法:此步骤可以适用于任何监督学习算法,而使用决策树可以更好地理解数据
的内在含义。
def createDataSet():
dataSet = [[1, 1, 'yes'],
[1, 1, 'yes'],
[1, 0, 'no'],
[0, 1,