决策树——学习笔记（一）

概念

1. 决策树最顶端节点称为【根结点】，深度为0的决策树也称为【决策树桩】，不可再分的节点称为【叶节点】。
2. sklearn支持的两个最常用的分割标准：a. criterion=‘gini’【基尼不纯度】; b. criterion=‘entropy’【信息增益】；

• gini不纯度：是否错误分类？目标是最小化错误分类的概率，最优化分割gini不纯度为0
• entropy信息增益: 不确定度多大？最完美分割信息熵为0

应用

1. 持续增加深度，使得所有叶子都是纯的，有什么后果？

• 表面这个决策树在训练集上正确率100%，但是测试集上可能表现很差，产生over-fitting

2. 避免过拟合的两种常见方法

• 预剪枝：尽早停止决策树生长，一般足够控制过拟合，但现实复杂场景就不足以控制，需用到多个决策树合并成的随机森林
  • max_depth:限制最大深度
  • max_leaf_nodes:限制最多的叶节点数量
  • min_simple_split:限制可分割最少样本数
• 后剪枝：创建后移除或合并包含较少信息的节点

DataSets
Paper