机器学习之决策树分类和预测算法原理

转载自 http://www.36dsj.com/archives/44255

写在前面：本文很详细的说明了决策树分类和预测算法的原理，并以某高尔夫球俱乐不同的天气状况下是否来打球为例进行分析。比较详尽，谢谢作者声明可以注明出处进行转载，让更多的人分享到这份知识。

算法决策树是一种通过对历史数据进行测算实现对新数据进行分类和预测的算法。简单来说决策树算法就是通过对已有明确结果的历史数据进行分析，寻找数据中的特征。并以此为依据对新产生的数据结果进行预测。

决策树由3个主要部分组成，分别为决策节点，分支，和叶子节点。其中决策树最顶部的决策节点是根决策节点。每一个分支都有一个新的决策节点。决策节点下面是叶子节点。每个决策节点表示一个待分类的数据类别或属性，每个叶子节点表示一种结果。整个决策的过程从根决策节点开始，从上到下。根据数据的分类在每个决策节点给出不同的结果。

构造决策树是一个复杂的工作。下面我们将介绍决策树中的ID3算法和“信息熵”的概念。并手工创建一个简单的决策树，用以说明整个构建的过程和思路。

ID3算法

构造决策树的方法有很多种，ID3是其中的一种算法。ID3算法最早是由罗斯昆(J. Ross Quinlan)1975年在悉尼大学提出的一种分类预测算法，核心是“信息熵”。ID3算法认为“互信息”高的属性是好属性，通过计算历史数据中每个类别或属性的“信息熵”获得“互信息”，并选择“互信息”最高的类别或属性作为决策树中的决策节点，将类别或属性的值做为分支继续进行分裂。不断重复这个过程，直到生成一棵完整的决策树。

信息熵的含义及分类

信息熵是信息论中的一个重要的指标，是由香农在1948年提出的。香农借用了热力学中熵的概念来描述信息的不确定性。因此信息学中的熵和热力学的熵是有联系的。根据Charles H. Bennett对Maxwell’s Demon的重新解释，对信息的销毁是一个不可逆过程，所以销毁信息是符合热力学第二定律的。而产生信息，则是为系统引入负(热力学)熵的过程。 所以信息熵的符号与热力学熵应该是相反的 。

简单的说信息熵是衡量信息的指标，更确切的说是衡量信息的不确定性或混乱程度的指标。信息的不确定性越大，熵越大。决定信息的不确定性或者说复杂程度主要因素是概率。决策树中使用的与熵有关的概念有三个：信息熵，条件熵和互信息。下面分别来介绍这三个概念的含义和计算方法。

信息熵是用来衡量一元模型中信息不确定性的指标。信息的不确定性越大，熵的值也就越大。而影响熵值的主要因素是概率。这里所说的一元模型就是指单一事件，而不确定性是一个事件出现不同结果的可能性。例如抛硬币，可能出现的结果有两个，分别是正面和反面。而每次抛硬币的结果是一个非常不确定的信息。因为根据我们的经验或者历史数据来看，一个均匀的硬币出现正面和反面的概率相等，都是50%。因此很难判断下一次出现的是正面还是反面。这时抛硬币这个事件的熵值也很高。而如果历史数据告诉我们这枚硬币在过去的100次试验中99次都是正面，也就是说这枚硬币的质量不均匀，出现正面结果的概率很高。那么我们就很容易判断下一次的结果了。这时的熵值很低，只有0.08。

我们把抛硬币这个事件看做一个随机变量S，它可能的取值有2种，分别是正面x1和反面x2。每一种取值的概率分别为P1和P2。 我们要获得随机变量S的取值结果至少要进行1次试验，试验次数与随机变量S可能的取值数量(2种)的对数函数Log有联系。Log2=1(以2为底)。因此熵的计算公式是：

在抛硬币的例子中，我们借助一元模型自身的概率，也就是前100次的历史数据来消除了判断结果的不确定性。而对于很多现实生活中的问题，则无法仅仅通过自身概率来判断。例如：对于天气情况，我们无法像抛硬币一样通过晴天，雨天和雾霾在历史数据中出现的概率来判断明天的天气，因为天气的种类很多