分类决策树

什么是分类决策树？分类决策树能用来干什么？举个例子就明白了。
一位母亲要给她女儿介绍对象，于是有了如下对话：
女儿：多大年纪了？
母亲：26。
女儿：长的帅不帅？
母亲：挺帅的。
女儿：收入高不？
母亲：不算很高，中等情况。
女儿：是公务员不？
母亲：是，在税务局上班呢。
女儿：那好，我去见见。
这个女孩的决策过程就是典型的分类树决策。通过年龄、长相、收入和是否公务员对将男人分为两个类别：见和不见。

现在对机器来说，假设给了它一系列的“前提”（特征），让它对这件事作出判断，这就是分类决策树。说白了，假设有了树，对机器来说，就是不断的if–else–，如果年龄小于30、长的挺帅、收入挺高，机器就知道了，我要去见他。

显然，决策树也是监督学习的一种，先需要历史数据去构建决策树，再可根据决策树去对一些未知数据惊醒分类。
那么，怎么去构建决策树？
再举个例子，表5.1是贷款申请样本数据表，根据年龄、有工作、有房子、信贷情况4个特征来决定是否给你贷款。表格中的数据都是已知的确定的，也就是历史数据，年轻没工作没房子信贷情况一般的人，就一定不给贷款，而青年有工作没房子信贷情况好的人，就一定给贷款…这15种情况是已知的。
我们可以按照上面的情况同样构建一颗树，最开始的节点“年龄”，后有三个分支，“青年”“中年”“老年”，形成三个节点，每个节点后又可以有两个分支，“有工作”“无工作”，总共形成六个节点，“有房子”“无房子”，“信贷好”“信贷一般”…以此类推，最后总共有24种情况，每种情况对应着一种类别“给贷款”“不给贷款”，很显然，这是一种很差的分类方式，完全没有结合数据自身的信息，只是尽数遍历。
怎样去构建一个好的决策树呢？
关键在于选择分类节点的先后顺序。比如有了表5.1的数据，上面我们是选择了“年龄”作为第一个节点，但这是否更有效的？如果我选择“有房子”作为第一个节点，直观上应该更好（因为有房子都给贷款，一下把很多情况都给覆盖了）。
于是我们要根据把类分的更开的特征作为第一个节点，依次往下。也就是说，在根据节点分类之前，总的数据的信息熵一定（在例子中为15条数据），称为经验熵，根据“有房子”这个节点分类后，15条数据变成两类（6条有房子，9条无房子），这两类的熵加起来，称为经验条件熵（在“有无房子”的条件下是否给你贷款），熵代表信息的不确定程度，熵越大，越混乱，信息越不确定。经验熵-经验条件熵的差值称为信息增益，我们要找的“把数据分的更开”的节点，也就是信息增益最大的节点。也就是有了这个节点分类后，这些数据的不确定性最小。
就拿这个例子来讲，什么条件都没有的情况下，15条数据，给不给贷款的不确定性就很大呀，有了第一个节点“有无房子”，分好类之后，显然，假如你有房子，就确定了一定会给你贷款，假如你没有房子，给你贷款也不确定，但总的来说，这两种情况的不确定加起来，还是要远小于原始的15条数据的不确定性。
如果选择“年龄”作为第一个节点分类，假如你是青年，给你贷款不确定；假如你是中年，给你贷款不确定；假如你是