信息增益到底怎么理解呢?可复制数据集在如下评论第一条! |
可以求得随机变量X(嫁与不嫁)的信息熵为: | |||||||
嫁的个数为6个,占1/2,那么信息熵为-1/2*log1/2-1/2*log1/2=-log1/2=0.301 | |||||||
现在假如我知道了一个男生的身高信息。 | |||||||
身高有三个可能的取值(矮,中,高) | |||||||
矮包括(1,2,3,5,6,11,12),嫁的个数为1个,不嫁的个数为6个 | |||||||
中包括(8,9),嫁的个数为2个,不嫁的个数为0个 | |||||||
高包括(4,7,10),嫁的个数为3个,不嫁的个数为0个 | |||||||
先回忆一下条件熵的公式如下:
|
我们先求出公式对应的: |
H(Y|X=矮)=-1/7*log1/7-6/7*log6/7=0.178 | |||
H(Y|X=中)=-1*log1-0=0 | |||
H(Y|X=高)=-1*log1-0=0 |
P(X=矮)=7/12,P(X=中)=2/12,P(X=高)=3/12 |
则可以得出条件熵为: |
7/12*0.178+2/12*0+3/12*0=0.103 |
那么我们知道信息熵与条件熵相减就是我们的信息增益,为0.301-0.103=0.198 |
结论 |
我们可以知道,本来如果我对一个男生什么都不知道的话,作为作为他的女朋友决定是否嫁给他的不确定性有0.301这么大! |