决策树学习笔记

• 决策树学习是数据挖掘中常用的一种监督学习方法，一颗决策树包含根结点，内部结点和叶结点。其根结点为算法开始阶段，包含所有样本，内部结点代表测试阶段，对应按照某个特征进行的划分结果，叶子结点对应最终决策结果（分类结果或回归结果）
• 几种决策树对比，主要差别就是分裂依据
  信息熵: $$Ent(D)=-\sum _{k=1}^{|y|}{P}_{k}Lo{g}_2{P}_k$$
  求集合样本数：$$Num(x)$$
  IV: I V ( a ) = − ∑ v = 1 V N u m ( D v ) N u m ( D ) l o g 2 N u m ( D v ) N