如何通过计算信息熵，进行决策树的分裂

假设训练集合包含以下10个元素：

其中s、m和l分别表示小、中和大。

设L、F和H表示日志密度、好友密度、是否使用真实头像，下面计算各属性的信息增益。

import math

#为了方便计算，我们定义一个计算信息值的函数,参数P为选择该分类的概率
def info_value(p):
    #try可以防止当p为0时，log2(p)计算报错
    try:
        result = -math.log2(p)
    except:
        result = 0
    finally:
        return result

#观察我们需要判断标签项(即账号是否为真的列)
# no 3个 p = 0.3
# yes7个 p = 0.7

#计算整体信息熵
info_D = 0.3*info_value(0.3)+0.7*info_value(0.7)
info_D

相关公式：

假设账号的真实性分别根据，日志、好友、头像三个属性进行划分，则各属性对真实性的期望信息如下：

#1.计算日志密度属性对整体的期望信息
#s-->0.3
#m-->0.4
#l-->0.3

#s--> no yes no         p1=2/3  p2=1/3
#m--> yes yes no yes    p1=3/4  p2=1/4
#l--> yes yes yes       p1=3/3  p2=0/3

info_D_L = 0.3*(2/3*info_value(2/3)+1/3*info_value(1/3))+0.4*(3/4*info_value(3/4)+1/4*info_value(1/4))+0.3*(3/3*info_value(3/3)+0/3*info_value(0/3))
info_D_L

结果为：0.6

#2.计算好友密度属性对整体的期望信息
#s-->0.4
#m-->0.4
#l-->0.2

#s--> no no yes no     p1=3/4  p2=1/4
#m--> yes yes yes yes  p1=4/4  p2=0/4
#l--> yes yes          p1=2/2  p2=0/2

info_D_F = 0.4*(2/3*info_value(2/3)+1/3*info_value(1/3))+0.4*(4/4*info_value(4/4)+0/4*info_value(0/4))+0.3*(2/2*info_value(2/2)+0/2*info_value(0/2))
info_D_F

结果为：0.36731833362179583

#3.计算头像属性对整体的期望信息
#no-->0.5
#yes-->0.5

#no-->  no  yes  no yes yes    p1=2/5   p2=3/5
#yes--> yes yes yes yes no     p1=4/5   p2=1/5

info_D_H = 0.5*(2/5*info_value(2/5)+3/5*info_value(3/5))+0.5*(4/5*info_value(4/5)+1/5*info_value(1/5))
info_D_H

结果为：0.8464393446710154

以上，可以计算出日志密度、好友密度、头像三种属性各自的信息增益：

gain_L=info_D-info_D_L
gain_F=info_D-info_D_F
gain_H=info_D-info_D_H

结果为：
0.2812908992306927
0.5139725656088969
0.034851554559677256

相关公式：

根据以上，得出结论：

日志密度信息增益为：0.2812908992306927
好友密度信息增益为：0.5139725656088969
头像信息增益为：0.034851554559677256

因此优先根据好友密度进行分裂