-
ID3 信息增益:熵(数据的不确定性程度)的减少;一个属性的信息增益量越大,这个属性作为一棵树的根节点就能使这棵树更简洁。
信息增益=分裂前的熵 – 分裂后的熵
面对类别较少的离散数据时效果较好,但如果面对连续的数据(如体重、身高、年龄、距离等),或者每列数据没有明显的类别之分(最极端的例子的该列所有数据都独一无二),即每个值对应一类样本 -
C4.5信息增益比:克服了ID3用信息增益选择属性时偏向选择取值多的属性的不足(某个属性存在大量的不同值,在划分时将每个值分为一个结点)
-
CART 使用基尼系数进行分类
基尼指数Gini(D)表示集合D的不确定性,基尼指数Gini(D,A)表示经A=a分割后集合D的不确定性。基尼指数值越大,样本集合的不确定性也就越大,这一点与熵相似。 -
决策树的生成通常使用 信息增益最大、信息增益比最大或基尼指数最小作为特征选择的准则。
https://chenzy96.github.io/2018/10/20/%E5%9B%9E%E5%BD%92%E5%88%86%E6%9E%90%E4%B9%8B%E5%86%B3%E7%AD%96%E6%A0%91/