sklearn代码11 1-熵

import numpy as np

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Z8Lm1iLN-1635839408553)(1.png)]

$$-\sum _{i=1}^{n}p(xi)\ast lo{g}_{2}p(xi)$$

$$\sum _{i=1}^{n}p(xi)\ast lo{g}_2\frac{1}{p(xi)}$$

# 账号是否真实进行划分：3（no） 7（yes）

# 不进行划分，信息熵

info_D = 0.3*np.log2(1/0.3)+0.7*np.log2(1/0.7)
info_D

0.88129089923069259

# 决策树，对目标值进行划分
# 三个属性，日志密度 好友密度，真实头像
# 使用日志密度进行树的构建
# 3 s ----> 0.3  2N 1Y
# 4 m ----> 0.4  1N 3Y
# 5 l ----> 0.5  3Y

info_F = 0.3*(2/3*np.log2(3/2)+1/3*np.log2(3))+0.4*(0.25*np.log2(4)+0.75*np.log2(4/3))+0.3*(1*np.log2(1))
info_F

0.59999999999999987

# 信息增益
info_D - info_F

0.28129089923069273

# 好友密度
# 4 s 0.4--->3N 1Y
# 4 m 0.4--->4Y
# 2 l 0.2--->2Y

info_F_D = 0.4*(0.75*np.log2(4/3) + 0.25*np.log2(4)) + 0 + 0
info_F_D

0.32451124978365314

# 信息增益  
info_D - info_F_D

0.55677964944703939