决策树

如何计算信息熵

以A的划分方式来解释：
如图所示，父节点划分为(40,40),则对于父节点，p1=p2=1/2=0.5
根据信息熵的计算公式，父节点的信息熵=-(0.5log2(0.5))+(-0.5log2(0.5)) = 1
再看左子树，划分为(30,10),则对于左子树，p1=30/40=3/4,p2=10/40=1/4，根据公式可得左子树信息熵为0.81，同理得右子树信息熵为0.81。则左子树信息增量=父节点信息熵-40/80左子树信息熵-40/80右子树信息熵=0.19
同理得右子树信息增量=0.31<0.81
则选择A划分方式比较好

举例：