常用决策树算法总结

算法思想
决策树（decision tree）是一个树结构（可以是二叉树或非二叉树）。其每个非叶节点表示一个特征属性上的测试，每个分支代表这个特征属性在某个值域上的输出，而每个叶节点存放一个类别。

使用决策树进行决策的过程就是从根节点开始，测试待分类项中相应的特征属性，并按照其值选择输出分支，直到到达叶子节点，将叶子节点存放的类别作为决策结果。

总结来说：决策树模型核心是下面几部分：结点和有向边组成
结点有内部结点和叶结点俩种类型内部结点表示一个特征，叶节点表示一个类。

下面介绍一下三种主要的决策树算法：ID3,C4.5，CART

ID3

ID3 的构造准则是信息增益。

C4.5

C4.5的构造准则是信息增益比。

CART

CART 的构造准则是基尼指数。

决策树不同算法的对比

参考资料：
1.https://zhuanlan.zhihu.com/p/26703300
2.《统计学习方法》李航
3.《百面机器学习》