Gini Impurity（基尼不纯度）

AI算法攻城狮

已于 2024-05-20 12:43:44 修改

阅读量173

点赞数 1

分类专栏： # 机器学习算法原理文章标签：算法人工智能机器学习

于 2024-05-15 17:14:28 首次发布

本文链接：https://blog.csdn.net/jxq0816/article/details/138915484

版权

机器学习算法原理专栏收录该内容

68 篇文章 246 订阅 ¥99.90 ¥299.90

订阅专栏

基尼不纯度是评估分类数据集纯度的一种度量，它表示有放回抽样两次，两次样本标签不同的概率。当基尼不纯度为0时，集合类别一致，纯度最高；而当各分类比例相等时，基尼不纯度达到最大。例如，集合中所有数据属于同一分类时，基尼不纯度为0，四种分类均匀分布时，则基尼不纯度为0.75。

摘要由CSDN通过智能技术生成

基尼不纯度：衡量集合的无序程度；

基尼不纯度

基尼不纯度：有放回抽样两次，两次样本标签不同的概率。

1、显然基尼不纯度越小，纯度越高，集合的有序程度越高；

2、基尼不纯度为 0 时，表示集合类别一致；

3、基尼不纯度最高（纯度最低）时，f1=f2=…=fm=1/m

例，如果集合中的每个数据项都属于同一分类，此时基尼不纯度为 0。如果有四种可能的结果均匀地分布在集合中，此时的基尼不纯度为 1−0.25=0.75；

from  collections import Counter
import operator

def calcGini(dataSet):
    labelCounts = Counter(sample[-1] for sample in dataSet)
    prob = [float(v)/sum(labelCounts.values()) for v in labelCounts.values()]
    return 1 - reduce(operator.add, map(lambda x: x**2, prob))