了解决策树ID3算法

前言

决策树算法
优点：计算复杂度不高，输出结果易于理解，对中间值的缺失感不敏感，可以处理不相关特征数据。
缺点：可能产生过度匹配问题
使用数据类型：数值型和标称型

一、推导过程

头发 声音 性别
长 粗 男
短 粗 男
短 粗 男
长 细 女
短 细 女
短 粗 女
长 粗 女
长 粗 女
根据以上信息可以发现有两个特征来判断男女。
1.先根据头发判断，若判断不出再通过声音判断。
2.先根据声音判断，若判断不出再通过头发判断
Claude Shannon 定义了熵（entropy）和信息增益(information gain)。
用熵来表示信息的复杂度，熵越大，则信息越复杂。公式如下：

信息增益(information gain)，表示两个信息熵的差值。
先计算没有分类前的熵总共有8人，男生3人，女生5人。
熵（总）=-3/8log2(3/8)-5/8log2(5/8)=0.9544
再分别计算分类后熵。
1.长发H1=-1/4log2(1/4)-3/4log(3/4)=0.8113
短发H2=-1/2log2(1/2)-1/2log(1/2)=1
人H=4/80.8113+4/81=0.9057
信息增益=0.9544-0.9057=0.0487
2.粗H1=-3/6log2(3/6)-3/6log2(3/6)=1
细H2=-2/2log2(2/2)=0
人H=6/81+2/8*0=0.75
信息增益=0.9544-0.75=0.2087
方法二的信息增益大，区分能力更强更具代表性