目录
概要
本文总结了决策树的基本原理,和建立决策树中两个重要的知识点:熵和信息增益。 讲解了ID3算法的实现, 在sk.learn中怎样调用决策树模型并评估,以及决策树的优缺点。看完之后,你可以手撸出决策树代码自己实现啦。这是我第一次从头到尾写了一个决策树的算法,并且用这个模型进行了非常简单的预测。我还是挺开心的。听人说决策树是机器学习的门槛,我一脚踏了进去。这里记录下这一脚。
一、什么是Decision Tree
决策树(decision tree)是一个树结构(可以是二叉树或非二叉树)。其每个非叶节点表示一个特征属性上的测试,每个分支代表这个特征属性在某个值域上的输出,而每个叶节点存放一个类别。使用决策树进行决策的过程就是从根节点开始,测试待分类项中相应的特征属性,并按照其值选择输出分支,直到到达叶子节点,将叶子节点存放的类别作为决策结果。决策树分为分类树(Classification Tree,算法有ID3, C4.5, CART)和回归树(RegressionTree,回归算法有CART)
举个例子遇到一只熊你是逃跑还是攻击?
这样的决策思维就是典型的决策树了。要弄懂怎样构造决策树,作重要的一步弄懂他是怎么样分裂的。决策树的核心算法在于特征选择和决策树的生成。
1.特征选择
特征选择即选择最优的划分属性。从当前的数据中选择一个特征作为当前的划分标准。我们希望在不断的划分中,决策树的分支点所包含的样本数尽可能多为同一类别,即这个点的熵(Entrophy)越来越低,逐渐倾向于有序。而选择最优的特征标准不同,决策树的算法也不同。常见的方法有以下几种:
- 信息增益 ID3算法
- 信息增益率 C4.5算法
- 基尼系数 CART算法
1)entrophy 熵:
在物理学中熵形容元素或空间的无序性。在机器学习里面,熵形容数据的无序性。你可以将建立决策树的过程就是减小熵值得过程,将一条条一缕缕信息,打包成一包一包的书籍,再把一包整理分成一部一部,再将一部书分成一卷一卷,再将一卷分成一章一章,再将一章分成一节一节。信息从无序到有序的过程就是决策树建立的过程。然后,你问我我想写一篇关于决策树的文章到哪里找,我根据刚才的分类告诉你到1号包第一部第一卷第一章中第二节找。这就是根据我们决策树模型进行预测了。
熵怎么计算呢?
P代表x事件发生的概率,b代表底,可以是2也可以是10.
我们可以看出,当训练集只有一个类别时候,熵最低,H = -1 * 1 = 0;当训练集各个类别均匀分布的时候,熵最大。。
举个例子来说,以下五个数是年龄和收入高或者底的数据:
计算公式为:
熵 : = 1P(xi) * = −((2/5∗log2 2/5)+(3/5∗log2 3/5)) = −(−0.5287712379549449+−0.44217935649972373) = 0.97
将上述变为代码看得更加直观清晰一些:
import math
# 1代表高收入,2代表低收入
entropy = -(2/5 * math.log(2/5, 2) + 3/5 * math.log(3/5, 2))
prob_0 = income[income['high_income'] == 0].shape[0] / income.shape[0]
prob_1 = income[income['high_income'] != 0].shape[0] / income.shape[0]
income_entropy = -(prob_0 * math.log(prob_0, 2) + prob_1 * math.log(prob_1, 2))
2)Information gain 信息增益
知道了熵这个重要概念,怎样指导我们决策树分裂呢?
一种策略是将可能的分裂成的左孩子和右孩子的可能性都列出来,依次计算熵值,再减去现在的熵值。得出的值为正的,才表示这个分裂方式使得无序性降低,是个好选择。差值最大的,则表示这样的分裂方式最好。
其中设计一个重要概念是信息增益。它能告诉我们,二叉树中怎样分裂效果最好。他的公式是:
T是指我们的目标变量的熵值,A是指我们分裂的变量。我们刚才提出的方法目标就是找到最大信息