决策树ID3简单推导实现

决策树

介绍

决策树(decision tree)是一种基本的分类与回归方法。ID3是其中一种经典的决策树算法。它通过计算特征的信息增益熵来选择最佳的特征来进行划分。

优缺点

• 优点:计算复杂度不高，输出结果易于理解，对中间值的缺失值不敏感可以处理不相关特征数据。
• 缺点:可能会产生过度匹配的问题。

ID3算法原理

通过增益熵推导ID3算法的手工过程：

• 计算原始数据集的熵（Entropy）作为初始熵值。 熵的计算公式为：H(D)=-Σ(p(xi) * log2(p(xi)))，其中p(xi)表示数据集中分类为xi的样本的概率。

• 计算每个特征的信息增益熵（Gain）。 信息增益熵表示给定特征后，数据集的熵减少的程度，可以通过计算原始熵与特征划分后的加权熵之差来表示。

• 选择信息增益熵最大的特征作为划分特征。 选择信息增益熵最大的特征就是选择使得数据集熵减少最多的特征。这是因为信息增益熵最大的特征能够提供最多的关于目标变量的信息。

• 根据选择的特征进行数据集划分。 将数据集根据选定的特征的不同取值进行划分，得到新的子集。

• 对于每个子集，重复步骤1-4，直到划分结束。 递归地对每个子集应用上述过程，直到满足停止条件，例如所有样本都属于同一类别，或者没有更多的特征可供划分。

举例

如下图所示的流程图就是一个决策树，长方形代表判断模块(decision block)，椭圆形成代表终止模块(terminating block)，表示已经得出结论，可以终止运行。从判断模块引出的左右箭头称作为分支(branch)，它可以达到另一个判断模块或者终止模块。我们还可以这样理解，分类决策树模型是一种描述对实例进行分类的树形结构。决策树由结点(node)和有向边(directed edge)组成。结点有两种类型：内部结点(internal node)和叶结点(leaf node)。内部结点表示一个特征或属性，叶结点表示一个类。如下图所示的决策树，长方形和椭圆形都是结点。长方形的结点属于内部结点，椭圆形的结点属于叶结点，从结点引出的左右箭头就是有