decision tree的结点纯度计算方法

45度角的那记三分

于 2018-12-21 04:11:55 发布

阅读量2.5k

点赞数

分类专栏：机器学习决策树

本文链接：https://blog.csdn.net/m0_37871195/article/details/85156000

版权

本文探讨了决策树中用于衡量结点纯度的两种方法——Gini指数和熵。通过计算公式，解释了如何确定根结点以及如何评估属性的纯度。纯度越高，表示结点分类的确定性越强，适合作为划分依据。当概率相等时，纯度最低，而概率趋向0或1时，纯度最高。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

决策树是一种机器学习领域的分类方法，首先通过训练集来构建决策树，并在测试集上使用决策树对测试数据进行分类。本文主要讲解对各结点的纯度计算方法。

要确定决策树的根结点，要对不同属性进行纯度计算。主要有两种计算方法。

公式： $\mathit{GINI(t)} = 1-\sum[\mathit{p}(j|t)]^{2}$

$\mathit{p}(j|t)$ 是指在结点t的相对频率。

例如，某一属性按照C1，C2两类的分类情况如下：

C1	0
C2	6

对于这种情况，使用上述公式可得：