python决策树原理_Python机器学习之决策树算法实例详解

本文实例讲述了Python机器学习之决策树算法。分享给大家供大家参考，具体如下：

决策树学习是应用最广泛的归纳推理算法之一，是一种逼近离散值目标函数的方法，在这种方法中学习到的函数被表示为一棵决策树。决策树可以使用不熟悉的数据集合，并从中提取出一系列规则，机器学习算法最终将使用这些从数据集中创造的规则。决策树的优点为：计算复杂度不高，输出结果易于理解，对中间值的缺失不敏感，可以处理不相关特征数据。缺点为：可能产生过度匹配的问题。决策树适于处理离散型和连续型的数据。

在决策树中最重要的就是如何选取用于划分的特征

在算法中一般选用ID3，D3算法的核心问题是选取在树的每个节点要测试的特征或者属性，希望选择的是最有助于分类实例的属性。如何定量地衡量一个属性的价值呢？这里需要引入熵和信息增益的概念。熵是信息论中广泛使用的一个度量标准，刻画了任意样本集的纯度。

假设有10个训练样本，其中6个的分类标签为yes，4个的分类标签为no，那熵是多少呢？在该例子中，分类的数目为2(yes，no)，yes的概率为0.6，no的概率为0.4，则熵为 ：

其中value(A)是属性A所有可能值的集合，

是S中属性A的值为v的子集，即

。上述公式的第一项为原集合S的熵，第二项是用A分类S后熵的期望值，该项描述的期望熵就是每个子集的熵的加权和，权值为属于的样本占原始样本S的比例

。所以Gain(S, A)是由于知道属性A的值而导致的期望熵减少。

完整的代码：

对应的结果是：

最好再增加使用决策树的分类函数

同时因为构建决策树是非常耗时间的，因为最好是将构建好的树通过 python 的 pickle 序列化对象，将对象保存在磁盘上，等到需要用的时候再读出

希望本文所述对大家Python程序设计有所帮助。

原文链接：http://blog.csdn.net/xietingcandice/article/details/44082735