【熵的计算】

熵的计算

什么是熵?

定义:
熵是表示随机变量不确定性的度量

简单理解:熵就是混乱程度,一个集合中类别越多,越混乱,属于哪一个类别越不确定。


熵的计算公式:
在这里插入图片描述

简单理解一下公式:
(不知道为啥传不了图片)
观察对数函数图像可以看出 (「0-1」范围内)概率值越大(pi越大)
函数值(log(pi))越大,加上-号越小,也就是熵值越小


例:集合a=[1,2,3,4,5,6,7,8,9,10]
集合b=[1,1,1,1,1,1,1,1,2,2]

根据计算公式:

集合A的熵为:
− 10 × ( 1 10 × log ⁡ 2 1 10 ) -10\times (\frac{1}{10}\times \log_{2}{\frac{1}{10}} ) 10×(101×log2101)


集合B的熵为:
− ( 8 × 8 10 × log ⁡ 2 8 10 + 2 × 2 10 × log ⁡ 2 2 10 ) -(8\times \frac{8}{10}\times \log_{2}{\frac{8}{10}} +2\times \frac{2}{10}\times \log_{2}{\frac{2}{10}}) (8×108×log2108+2×102×log2102)



a=np.log2(8/10)
b=np.log2(2/10)
# 集合b的熵
c=(2/5*(16*a+b)) 
# 集合a的熵
d=-(np.log2(1/10))
print(c)
print(d)

结果:
请添加图片描述
可以看出集合a的熵值更大,更不稳定,属于哪一个类别更不确定

二分类问题中

在这里插入图片描述
当概率值为0.5 就是可能/不可能各占一半,
就像问前面的人是是男人还是女人,回答:男人可能性50%等于没说(最不确定)
当概率值为0或1,已经确定了 (100%发生或不发生)

信息增益:

特征x使得类y的不确定性减少的程度。
决策树中:
原来集合的熵与(经过节点生成的左右集合的熵之和)的差值
信息增益越大,类别确定性越高

  • 3
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值