机器学习之决策树

树模型

• 决策树：从根节点开始一步步走到叶子节点（决策）
• 所有的数据最终都会落到叶子节点，既可以做分类也可以做回归
  

树的组成

• 根节点：第一个选择点
• 非叶子节点与分支：中间过程
• 叶子节点：最终的决策结果
  

决策树的训练与测试

• 训练阶段：从给定的训练集构造出来一棵树（从跟节点开始选择特征，
  如何进行特征切分）
• 测试阶段：根据构造出来的树模型从上到下去走一遍就好了
• 一旦构造好了决策树，那么分类或者预测任务就很简单了，只需要走一遍
  就可以了，那么难点就在于如何构造出来一颗树，这就没那么容易了，需
  要考虑的问题还有很多的！

如何切分特征（选择节点）

• 问题：根节点的选择该用哪个特征呢？接下来呢？如何切分呢？
• 想象一下：我们的目标应该是根节点就像一个老大似的能更好的切分数据
  （分类的效果更好），根节点下面的节点自然就是二当家了。
• 目标：通过一种衡量标准，来计算通过不同特征进行分支选择后的分类
  情况，找出来最好的那个当成根节点，以此类推。

衡量标准-熵

• 熵：熵是表示随机变量不确定性的度量
  （解释：说白了就是物体内部的混乱程度，比如杂货市场里面什么都有
  那肯定混乱呀，专卖店里面只卖一个牌子的那就稳定多啦）
• 公式：H(X)=- ∑ pi * logpi, i=1,2, … , n
• 一个栗子： A集合[1,1,1,1,1,1,1,1,2,2]
  B集合[1,2,3,4,5,6,7,8,9,1]
  显然A集合的熵值要低&#x