程序员的机器学习入门笔记（六）：决策树的入门介绍

介绍

历史背景

决策树算法是最早的机器学习算法之一。早在 1966 年 Hunt,Marin 和 Stone 提出的CLS 学习系统就有了决策树算法的概念。但到了 1979 年， J.R. Quinlan 才给出了 ID3算法的原型， 1983 年和 1986 年他对 ID3 算法进行了总结和简化，正式确立了决策树
学习的理论。 从机器学习的角度来看，这是决策树算法的起点。到 1986 年， Schlimmer和 Fisher 在此基础上进行改造，引入了节点缓冲区，提出了 ID4 算法。在 1993 年，Quinlan 进一步发展了 ID3 算法，改进成 C4.5 算法，成为机器学习的十大算法之一。
ID3 的另一个分支是分类回归决策树算法(Classification Regression Tree)，与 C4.5 不同的是， CART 的决策树主要用于预测，这样决策树理论完整地覆盖了机器学习中分类和回归两个领域了。

基本思想

决策树的思想来源非常朴素，每个人大脑中都有类似 if-then 这样的判断逻辑，其中 if 表示条件， then 就是选择或决策。程序设计中，最基本的语句条件分支结构就是if-then 结构。而最早的决策树就是利用这类结构分隔数据的一种分类学习方法。

例子说明

假定某间 IT 公司销售笔记本电脑产品，为了提高销售收入，公司对各类客户建立了统一的调查表，统计了几个月销售数据之后收集到中的数据，为了提高销售的效率，公司希望通过上表对潜在客户进行分类，并根据上述特征制作简单的销售问卷。以利于销售人员的工作。这就出现两个问题：
- 如何对客户分类？
- 如何根据分类的依据，并给出销售人员指导的意见？

调查表的结果如下

<

计数	年龄	收入	学生	信誉	是否购
64	青	高	否	良	不买
64	青	高	否	优	不买
128	青	中	否	良	不买
64	青	低	是	良	买
64	青	中	是	优	买
128	中	高	否	良	买
64	中	低	是	优	买
32	中	中	否	优	买
32	中	高	是	良	买
60	老	中	否	良	买
64	老	低	是	良	买
64	老	低	是	优	不买
132	老	中	是	良	买
64	老	中	否	优	不买