决策树如何通过信息增熵确定最终的决策

信息熵定义：

有n种取值：U1…Ui…Un，对应概率为：P1…Pi…Pn，且各种符号的出现彼此独立。这时，信源的平均不确定性应当为单个符号不确定性-logPi的统计平均值（E），可称为信息熵，即

 

推导一下条件熵

信息增熵=信息熵-条件熵

------------------------------------------------------分割线------------------------------------------------------

现在有如下数据，要求计算出对结果影响最大的一项。（已知某女嘉宾填写了如下表格，要求计算出女嘉宾做出决定影响最大的一项，以提升成功率）

在什么情况都不了解的情况下嫁的信息熵：-1/2log(1/2)-1/2log(1/2)=-log(1/2)≈0.301

根据上进与否：
上进：{2,3,4,5,6,8,9,10} => 嫁（5/8），不嫁（3/8）
不上进：{1,7,11,12}。    => 嫁（1/4），不嫁（3/4）

上进的信息熵为：-5/8log(5/8)-3/8log(3/8)≈0.287
不上进的信息熵为：-1/4log(1/4)-3/4log(3/4)≈0.244

P(x=上进)=3/4
P(x=不上进)=3/12=1/4

H(X)=3/4*0.287+1/4*0.244≈0.276

信息增熵=0.301-0.276=0.025

--------------------------------------------------------------------
根据身高：
矮{1,2,3,5,6,11,12} 	=>嫁（1/7），不嫁：（6/7）
中{8，9}		    	=>嫁(1) ，不嫁（0）
高{4，7，10}		=> 嫁（1），不嫁（0）

信息熵：
矮：-1/7log(1/7)-6/7log(6/7)≈0.178
中：-log(1)-0=0
高：-log(1)-0=0

P(x=矮)=7/12
P(x=中)=1/6
p(x=高)=1/4

H(X)=0.178*7/12+0+0≈0.1038

信息增熵=0.301-0.1038=0.1972

--------------------------------------------------------------------
根据性格：
不好：{1，5，6，10}：嫁（1/4），不嫁（3/4）
好：{2，3，7，8，11，12} 嫁（1/2），不嫁（1/2）
爆好：{4，9} 嫁（1），不嫁（0）

不好的信息熵：-1/4log(1/4)-3/4log(3/4)≈0.244
好的信息熵：-1/2log(1/2)-1/2log(1/2)=-log(1/2)≈0.301
爆好的信息熵：-1log(1)-0=0

P(x=不好）=1/3
p(x=好)=1/2
P(x=爆好)=1/6

H(X)=1/3*0.244+0.301*1/2+0≈0.2318

信息增熵=0.301-0.2318=0.0692

--------------------------------------------------------------------
根据帅不帅：
帅：{1,3,5,6,7,9,11,12} 嫁（3/8） 不嫁（5/8）
不帅：{2，4，8，10} 嫁（3/4） 不嫁（1/4）

信息熵：
帅：-3/8log(3/8)-5/8log(5/8)≈0.2873
不帅：-3/4log(3/4)-1/4log(1/4)≈0.2242

P(x=帅）=2/3
p(x=不帅)=1/3

H(X)=0.2873*2/3+0.2242*1/3≈0.2662

信息增熵=0.301-0.2662=0.0348

根据如上的计算可以得出女嘉宾选择结婚与否影响程度大小排序为：

身高（0.1972）> 性格（0.0692）> 帅不帅（0.0348）>上进与否（0.025）

由此可以看出对女嘉宾最终决策影响最大的为身高，也就是说说出身高后女嘉宾作出决定的不确定性会减少0.197