决策树

熵：表示随机变量不确定性度量 （X有n种取值）
条件熵：表示已知随机变量X的条件下随机变量Y的不确定性
信息增益：g(D,A)=H(D)-H(D/A) 熵与条件熵之差（D可认为是label,H(D)认为label的熵，A认为是数据集其中一个feature）

信息增益比：信息增益/条件熵（A特征信息增益/A特征下label条件熵），用于取值较多的特征
基尼指数：表示不确定度量，基尼指数越大，样本不确定性越大

(基尼指数可以选择最优特征，也可以确定分裂阈值，适用于分类树)
分裂阈值：在所有可能的特征A以及它们所有可能的切分点a中，选择基尼指数最小的特征及其对应的切分点作为最优特征与最优切分点，操作如下：

ID3:信息增益建树，选大的
C4.5:信息增益率建树，选大的
CART（分类树）：基尼指数建树，在所有可能的特征A以及它们所有可能的切分点a中，选择基尼指数最小的特征及其对应的切分点作为最优特征与最优切分点
防止过拟合：限制深度，限制叶子结点个数等
决策树优点：可解释性
决策树缺点：1）易过拟合2）决策树的结果可能是不稳定的，因为在数据中一个很小的变化可能导致生成一个完全不同的树
CART（回归树，GBDT基于此回归树生成）：平方误差最小化准则

  

转载本博笔记须在文章明显处注明原文的链接和作者信息  

转载于:https://www.cnblogs.com/yinghuali/p/9253341.html