决策树 本质:是一棵树,一颗根据不同特征作为节点的树 特征:数据最终形成叶子节点;非叶子节点是数据的特征 难点:选择形成分支的节点对应的特征 算法:根据信息增益来选择根节点,信息增益有根据信息熵来算 信息熵:表示信息的混乱程度,信息越混乱,熵越大,信息越整齐,熵越小 信息熵数学表示:-∑pi * log(pi) i=1,2,……,n