信息熵
公式：
H
=
−
∑
i
=
1
K
p
i
l
o
g
2
p
i
H = -\sum_{i = 1}^K p_i log_2 p_i
H=−∑i=1Kpilog2pi
p
i
p_i
pi 就是类别
i
i
i 出现的概率，
l
o
g
2
p
i
log_2 p_i
log2pi 是用二进制表示该概率值所需要的 bit 位数，那么熵的含义就是表示所有类别概率所需要的 bit 位数的期望值。所以熵值越大，就表示需要约多的位数来表示。如果 log 的底一样，那么熵值的相对大小也不会变化。
基尼指数
公式：
G
i
n
i
=
∑
p
i
∗
(
1
−
p
i
)
=
1
−
∑
p
i
2
Gini = \sum p_i * (1 - p_i) = 1 - \sum p_i^2
Gini=∑pi∗(1−pi)=1−∑pi2
参考博客里面有一句话说的很好：“基尼指数的意义是从数据集D中随机抽取两个样本类别标识不一致的概率。”
参考
https://blog.csdn.net/bitcarmanlee/article/details/88808873
133
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
