decision tree的结点纯度计算方法

最新推荐文章于 2024-01-09 10:38:07 发布

45度角的那记三分

最新推荐文章于 2024-01-09 10:38:07 发布

阅读量2.3k

点赞数

分类专栏：机器学习决策树

本文链接：https://blog.csdn.net/m0_37871195/article/details/85156000

版权

本文探讨了决策树中用于衡量结点纯度的两种方法——Gini指数和熵。通过计算公式，解释了如何确定根结点以及如何评估属性的纯度。纯度越高，表示结点分类的确定性越强，适合作为划分依据。当概率相等时，纯度最低，而概率趋向0或1时，纯度最高。

摘要由CSDN通过智能技术生成

决策树是一种机器学习领域的分类方法，首先通过训练集来构建决策树，并在测试集上使用决策树对测试数据进行分类。本文主要讲解对各结点的纯度计算方法。

要确定决策树的根结点，要对不同属性进行纯度计算。主要有两种计算方法。

公式： $\mathit{GINI(t)} = 1-\sum[\mathit{p}(j|t)]^{2}$

$\mathit{p}(j|t)$ 是指在结点t的相对频率。

例如，某一属性按照C1，C2两类的分类情况如下：

C1	0
C2	6

对于这种情况，使用上述公式可得： $\mathit{GINI}(t) = 1-(0^{2}+(\frac{6}{6})^{2}) = 1-1 = 0$ 。对于这种情况，GINI值取到最小值，说明这种情况不确定性最低，纯度最高。

关注