Jae_q的博客

原创 决策树初识

信息熵：描述信息的混乱度，度量样本集合纯度的指标。 信息熵越小，混乱度越低，纯度越高。 信息熵  ：  Ent(D)=  - ∑Pk (log2  Pk) 信息增益： Gain(D,a) = Ent(D) - ∑ Dv/D * Ent(Dv)  信息增益对   多值属性有偏好 设     节点信息熵   K  =  -∑ Dv/D * Ent(Dv)     设    根节点信息熵