机器学习之决策树算法（二）学习记录

参考资料来源于八维学院

决策树/判定树

决策树是机器学习中分类算法中的重要算法之一。
决策树是类似于流程图的树结构：其中每个内部结点表示在一个属性上的测试，每个分支代表一个属性的输出，而每个树叶结点代表类或类分布。树的最顶层是根节点。
附上很经典的”程序员相亲的例子“，便于理解。如图：

上述就是决策树的工作流程和各个结构的名称叫法。

熵/信息熵/信息增益

决策树中用到了关于熵的部分知识。
熵：熵指的是物体内部的混乱程度。
信息熵：是指信息的不确定程度，信息的不确定性越大，熵就越大。比如我们都知道今天太阳会从西方落下，这一信息的熵几乎为0，因为这基本是一个确定的事件，我们要知道这件事的结果，是轻而易举的；若有人说今天太阳不会从西边落下，那么要去搞清楚是为什么，我们需要花费很大的力气和代价，所以，这条信息的熵，就很大。
信息增益：比如说当前有一条信息，这条信息就有它的信息熵，对于这条信息，我们经过进一步加工和推理，我们使这条信息原本拥有的不确定性，下降了不少，此时，这条信息会重新拥有一个信息熵，那么刚才信息熵下降的数值，或者程度，就是我们所要说的信息增益。

构建树

构建出决策树的框架，其实就是确定各个节点选用哪些属性的先后顺序。
我们构建一