Decision Tree学习笔记（基础篇）

写在前面，博客仅供个人学习所用，不得商用。有问题请评论，我也是初学者，大家共同进步。
参考链接：决策树的一些基本概念以及实现原理
决策树python调用
决策树实现代码python

基本概念

决策树的改进路线：

ID3—>C4.5—>CART

（1）其中ID3是基于信息增益来选择划分属性

（2）C4.5不直接使用增益率来选择划分属性，而是使用了一个启发式：先从候选划分属性中选取信息增益高于平局水平的属性，再从中选择增益率最高的。

（3）CART（Classification and Regression Tree）算法使用基尼系数来代替信息增益比。

信息：

这个是熵和信息增益的基础概念，是对一个抽象事物的命名，无论用不用‘信息’来命名这种抽象事物，或者用其他名称来命名这种抽象事物，这种抽象事物是客观存在的。如果带分类的事物集合可以划分为多个类别当中，则某个类（xi）的信息（量）定义如下&#x