关于信息熵 基尼不纯度

1、信息熵

信息论中的信息量信息熵。

信息量:

信息量是对信息的度量,就跟温度的度量是摄氏度一样,信息的大小跟随机事件的概率有关。

香农定义的一个事件的信息信息量为:I(X) = log2(1/p) 其中p为事件X发生的概率

信息熵:Entropy

一个随机变量 X 可以代表n个随机事件,对应的随机变为X=xi,

那么熵的定义就是 X的加权信息量。

H(x) = p(x1)I(x1)+…+p(xn)I(x1) 

        = p(x1)log2(1/p(x1)) +…..+p(xn)log2(1/p(xn))

        = -p(x1)log2(p(x1)) - ……..-p(xn)log2(p(xn))

其中p(xi)代表xi发生的概率

例如有32个足球队比赛,每一个队的实力相当,那么每一个对胜出的概率都是1/32

那么 要猜对哪个足球队胜出 非常困难,

这个时候的熵H(x) = 32 * (1/32)log(1/(1/32)) = 5

 

熵也可以作为一个系统的混乱程度的标准

试想如果32个队中有一个是ac米兰,另外31个对是北邮计算机1班队,2班,…31班

那么几乎只有一个可能 ac米兰胜利的概率是100%,其他的都是0%,这个系统的熵

就是 1*log(1/1) = 0. 这个系统其实是有序的,熵很小,而前面熵为5 系统处于无序状态。

2、基尼不纯度

      基尼不纯度的大概意思是 一个随机事件变成它的对立事件的概率

      例如 一个随机事件X ,P(X=0) = 0.5 ,P(X=1)=0.5

      那么基尼不纯度就为   P(X=0)*(1 - P(X=0)) +   P(X=1)*(1 - P(X=1))  = 0.5

       一个随机事件Y ,P(Y=0) = 0.1 ,P(Y=1)=0.9

      那么基尼不纯度就为P(Y=0)*(1 - P(Y=0)) +   P(Y=1)*(1 - P(Y=1))  = 0.18

     很明显 X比Y更混乱,因为两个都为0.5 很难判断哪个发生。而Y就确定得多,**Y=1**发生的概率很 大 , 而基尼不纯度也就越小。

    所以基尼不纯度也可以作为 衡量系统混乱程度的 标准

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值