分类决策树的理解

决策树是一种用于分类预测的算法。其步骤可以分为：1）确定分类的根节点；2）确定根节点后进一步分裂的节点；3）确定最终的叶节点；它是一个递归树，意思是，后面的每一个新的决策树都可以在此基础上进行递归实现。下面就分别来谈谈具体怎么实现构造决策树。对于1）确定分类的根节点：由于构造分类决策树的目标是想尽快使决策树到达叶节点，因此，根节点选择就可以依据其分类信息熵值（或基尼系数）来选，信息熵值越小，越容易迅速到达决策树叶节点。对于2）确定根节点后进一步分类的节点：这一步是在确定前一步根节点的基础上进行分类决策的，因此，需综合考虑到前面根节点的熵值，于是采用信息增益值来决定进一步分类节点，增益值=根节点信息熵值-（左节点概率*左节点信息熵值+右节点概率*右节点信息熵值），左节点概率是在根节点基础上，左节点所占数/根节点总数这样计算得来的；对于3）确定最终的叶节点，最终的叶节点的判别标准是依据构造一个大小合适的决策树的限制条件来约束实现的：通常有——1）分类叶节点当前节点划分得到的实例数小于指定节点得到实例数的最小值时，停止分裂；2）当前叶节点进一步划分后，超过了决策树规定的最大深度树，停止分裂；3）运用节点数增加时，其验证集与测试集误差变化曲线来确定最佳分类节点。