决策树之二：信息增益

信息增益到底怎么理解呢？ 可复制数据集在如下评论第一条！

可以求得随机变量X（嫁与不嫁）的信息熵为：
嫁的个数为6个，占1/2，那么信息熵为-1/2*log1/2-1/2*log1/2=-log1/2=0.301
现在假如我知道了一个男生的身高信息。
身高有三个可能的取值（矮，中，高）
矮包括（1，2，3，5，6，11，12），嫁的个数为1个，不嫁的个数为6个
中包括（8，9），嫁的个数为2个，不嫁的个数为0个
高包括（4，7，10），嫁的个数为3个，不嫁的个数为0个
先回忆一下条件熵的公式如下：

我们先求出公式对应的：

H(Y|X=矮)=-1/7*log1/7-6/7*log6/7=0.178

H(Y|X=中)=-1*log1-0=0

H(Y|X=高)=-1*log1-0=0

P(X=矮)=7/12,P(X=中)=2/12,P(X=高)=3/12

则可以得出条件熵为：

7/12*0.178+2/12*0+3/12*0=0.103

那么我们知道信息熵与条件熵相减就是我们的信息增益，为0.301-0.103=0.198

结论

我们可以知道，本来如果我对一个男生什么都不知道的话，作为作为他的女朋友决定是否嫁给他的不确定性有0.301这么大！