sklearn笔记16 决策树的熵原理

完整代码 sklearn代码11 1-熵

查看官网关于决策树的介绍


先查看一下树结构的组成


将这个对话绘为树状，即如下所示：



香农公式

信息增益的计算公式

先计算没有排序的值，在计算根据A这个属性进行划分的熵，信息增益就是两者的差值

具体示例

例如微博等需要判断是否为真实账号

import numpy as np

# 账号是否真实进行划分：3（no） 7（yes）

# 不进行划分，信息熵

info_D = 0.3*np.log2(1/0.3)+0.7*np.log2(1/0.7)
info_D

# 决策树，对目标值进行划分
# 三个属性，日志密度 好友密度，真实头像
# 使用日志密度进行树的构建
# 3 s ----> 0.3  2N 1Y
# 4 m ----> 0.4  1N 3Y
# 5 l ----> 0.5  3Y

info_F = 0.3*(2/3*np.log2(3/2)+1/3*np.log2(3))+0.4*(0.25*np.log2(4)+0.75*np.log2(4/3))+0.3*(1*np.log2(1))
info_F

# 信息增益
info_D - info_F

# 好友密度
# 4 s 0.4--->3N 1Y
# 4 m 0.4--->4Y
# 2 l 0.2--->2Y

info_F_D = 0.4*(0.75*np.log2(4/3) + 0.25*np.log2(4)) + 0 + 0
info_F_D

# 信息增益  
info_D - info_F_D

CART的不同之处：可以用于回归问题

分类数学公式