python实现决策树生成算法ID3、C4.5

有用请点赞，没用请差评。

欢迎分享本文，转载请保留出处。

 

目录

 决策树原理

    决策树模型

 决策树生成算法python实现

  

前言：

本章节实现了ID3和C4.5的决策树生成算法，决策树的剪枝请参考下一篇博客。算法是基于李航老师的《统计学习方法》，相关公式在代码中都分别标注了。博客内容参考于李航老师《统计学习方法》和某位大佬的博客https://blog.csdn.net/c406495762/article/details/75663451

 

一 决策树原理

1、决策树模型

决策树是一种基本的分类与回归方法。决策树模型呈树形结构，在分类过程中表示基于特征对实例进行分类的过程，可以认为是if-then规则的集合。分类决策树由结点（node）和有向边组成。结点有两种类型：内部结点和叶结点。内部结点表示一个特征或者属性，叶结点表示一个类。如下图，图中圆和方框分别表示内部结点和叶结点，箭头表示有向边。

 我们可以把决策树看成一个if-then规则的集合，将决策树转换成if-then规则的过程是这样的：由决策树的根结点(root node)到叶结点(leaf node)的每一条路径构建一条规则；路径上内部结点的特征对应着规则的条件，而叶结点的类对应着规则的结论。决策树的路径或其对应的if-then规则集合具有一个重要的性质：互斥并且完备。这就是说，每一个实例都被一条路径或一条规则所覆盖，而且只被一条路径或一条规则所覆盖。这里所覆盖是指实例的特征与路径上的特征一致或实例满足规则的条件。

2、决策树计算

 

 

 

   ID3算法 

 

C4.5算法 

 

 

 二决策树生成算法的实现

采用的数据集：

                                                          贷款申请样本数据表

ID	年龄	有工作	有自己的房子	信贷情况	类别(是否个给贷款)
1	青年