决策树

决策树：从根节点开始一步步走到叶子结点（决策）

所有的数据最终都会落到叶子结点，既可以做分类也可以做回归

树的组成：

  根节点：第一个选择点

 非叶子结点与分支：中间过程

 叶子结点：最终的决策结果

节点：增加节点相当于在数据中切一刀，那么节点越多越好吗？

 

决策树的训练与测试：

  1.训练阶段：从给定的训练集构造出来一棵树（从根节点开始选择特征，如何进行特征切分）

  2. 测试阶段：根据构造出来的树模型从上到下走一遍就好了

  3. 一旦构造好了决策树，那么分类或者预测任务就很简单了，值需要走一遍就可以了，那么难点就

在与如何构造出来一棵树，这就没那么容易了，需要考虑的问题还有很多的！

 

如何切分特征（选择节点）？

  问题：根节点的选择该用哪个特征呢？接下来呢？如何切分呢？

  想象一下：我们的目标应该是根节点就像一个老大似的，能够更好的切分数据（分类的效果更好），

根节点下面的节点自然就是二当家了。

  目标：通过一种衡量标准，来计算通过不同特征进行分支选择后的分类情况，找出来最好的那个当成根节点，以此类推。

 

衡量标准--熵

熵：表示随机变量不确定性的度量（就是物体内部的混乱程度，比如杂货市场里面什么都有，那肯定混乱，专卖店里值卖一个牌子的那就稳定多了）