决策树 学习笔记

基本概念

 

算法杂货铺的这篇介绍说的比较生动详细

决策树算法原理(上) 对ID3、C4.5 的算法思想做了总结。介绍了两种算法的过程，以及优缺点。
ID3 构造决策树是基于信息增益最大的情况进行。主要存在如下问题：

• ID3没有考虑连续特征，比如长度，密度都是连续值，无法在ID3运用。这大大限制了ID3的用途。
• ID3采用信息增益大的特征优先建立决策树的节点。很快就被人发现，在相同条件下，取值比较多的特征比取值少的特征信息增益大。比如一个变量有2个值，各为1/2，另一个变量为3个值，各为1/3，其实他们都是完全不确定的变量，但是取3个值的比取2个值的信息增益大。如果校正这个问题呢？
• ID3算法对于缺失值的情况没有做考虑
• 没有考虑过拟合的问题
  C4.5 在ID3 的基础上进行了改进，解决以上问题
• 连续的特征离散化
• 引入信息增益比
• 通过同类的数据加权计算缺失值，或 将缺失特征的样本按比例分给各个类。
• 引入正则化系数

决策树算法原理(下) 在提出C4.5 的基础上，主要介绍了CART 算法，也是在sklearn 中使用的方法。介绍了CART 算法的过程以及剪枝过程。

三种方法对比

scikit-learn决策树算法类库使用小结 从实践角度来介绍决策树算法，介绍了重要参数的含义，调参注意点，以及结果可视化的一些内容。

决策树剪枝算法 介绍决策树的剪枝理论，避免guo决策树 (Decision Tree) 进阶应用 CART剪枝方法及Python实现方式