决策树的成长之路

这一篇主要讲我在学习决策树过程中的一些思路整理和比较直白的说明。以下不涉及具体的公式计算，如果想要了解更多，不妨看一下我的另一篇博文：http://blog.csdn.net/savinger/article/details/52819900

当然，要讨论一个问题，免不了“是什么，为什么以及怎么做”这个经典的套路。
首先，什么是决策树呢？
就我个人的理解，决策树就是通过一步一步的判断和决策，把数据进行分类或者是回归的过程。然后，因为这一个过程，很像是一棵树的结构，所以就称为决策树。

那么，决策树有哪几种呢？
按照功能来讲，决策树分为两种：即分类树和回归树；按照不同种方法，决策树有ID3、C4.5、C5.0、CART和QUEST等等。可以理解为，决策树的本质就是做分类或者回归，然后不同的人对原始的决策树进行修改和加强，于是就有多个版本的决策树。

按照剧本，接下来应该谈的，就应该是决策树的流程了吧？
最基本的，我们需要原始数据。这份数据里面，需要有预测变量和目标变量。这里所说的预测变量，就是我们常说的特征。而在分类树中，目标变量为离散型变量，在回归树中，目标变量为连续型变量。为了便于理解，举一个简单的例子：现在我们有一份医院的数据，里面有一大批病患的身高（高,中等,低），体重（重,中等,轻）