机器学习基础（五十）—— Gini Impurity（基尼不纯度）与香浓熵（Shannon Entropy））

最新推荐文章于 2024-08-21 14:30:34 发布

五道口纳什

最新推荐文章于 2024-08-21 14:30:34 发布

阅读量1.7w

点赞数 6

分类专栏：机器学习

本文链接：https://blog.csdn.net/lanchunhui/article/details/51140053

版权

机器学习专栏收录该内容

121 篇文章 39 订阅

订阅专栏

基尼不纯度/香浓熵：衡量集合的无序程度；

基尼不纯度

基尼不纯度：将来自集合的某种结果随机应用于某一数据项的预期误差率。

I G (f) = \sum i = 1 m f i (1 - f i) = \sum i = 1 m f i - \sum i = 1 m f 2 i = 1 - \sum i = 1 m f 2 i

$I_G(f)=\sum_{i=1}^mf_i(1-f_i)=\sum_{i=1}^mf_i-\sum_{i=1}^mf_i^2=1-\sum_{i=1}^mf_i^2$

（1）显然基尼不纯度越小，纯度越高，集合的有序程度越高，分类的效果越好；
（2）基尼不纯度为 0 时，表示集合类别一致；
（3）基尼不纯度最高（纯度最低）时， $f_1=f_2=\ldots =f_m=\frac1m$ ，
$I G (f) = 1 - (1 m) 2 \times m = 1 - 1 m$ $I_G(f)=1-(\frac1m)^2\times m=1-\frac1m$

例，如果集合中的每个数据项都属于同一分类，此时误差率为 0。如果有四种可能的结果均匀地分布在集合中，此时的误差率为 $1-0.25=0.75$ ；

from  collections import Counter
import operator

def calcGini(dataSet):
    labelCounts = Counter(sample[-1] for sample in dataSet)
    prob = [float(v)/sum(labelCounts.values()) for v in labelCounts.values()]
    return 1 - reduce(operator.add, map(lambda x: x**2, prob))

香农熵

I e n t (f) = - \sum i = 1 m f i log 2 f i

$I_{ent}(f)=-\sum_{i=1}^mf_i\log_2f_i$

from collections import Counter
import operator
import math

def calcEnt(dataSet):
    classCount = Counter(sample[-1] for sample in dataSet)
    prob = [float(v)/sum(classCount.values()) for v in classCount.values()]
    return reduce(operator.add, map(lambda x: -x*math.log(x, 2), prob))