决策树(Decision Tree)

• ID3 信息增益：熵（数据的不确定性程度）的减少；一个属性的信息增益量越大，这个属性作为一棵树的根节点就能使这棵树更简洁。
  信息增益=分裂前的熵 – 分裂后的熵
  面对类别较少的离散数据时效果较好，但如果面对连续的数据（如体重、身高、年龄、距离等），或者每列数据没有明显的类别之分（最极端的例子的该列所有数据都独一无二），即每个值对应一类样本

• C4.5信息增益比：克服了ID3用信息增益选择属性时偏向选择取值多的属性的不足（某个属性存在大量的不同值，在划分时将每个值分为一个结点）

• CART 使用基尼系数进行分类
  基尼指数Gini(D)表示集合D的不确定性，基尼指数Gini(D,A)表示经A＝a分割后集合D的不确定性。基尼指数值越大，样本集合的不确定性也就越大，这一点与熵相似。

• 决策树的生成通常使用 信息增益最大、信息增益比最大或基尼指数最小作为特征选择的准则。

https://chenzy96.github.io/2018/10/20/%E5%9B%9E%E5%BD%92%E5%88%86%E6%9E%90%E4%B9%8B%E5%86%B3%E7%AD%96%E6%A0%91/