2021-11-28 决策树（一）

第七章——决策树（一）

7.1 理解决策树
7.2 不确定性及信息增益

7.1 理解决策树

1、决策树的应用

• 决策树是一种基本的分类与回归的方法，它是几个经典集成模型（随机森林，提升树）的基础。
  

2、决策树的形态与决策边界

• 决策树由节点（跟节点、叶节点）和边组成。
• 从数据中得到决策树，需要学习到三样东西：树的形状、每一个决策的阈值θ、叶节点的值。

3、决策树的学习

• 在学习树的结构时会遇到NP-hard问题，一般般对于这类的问题是没有⼀个很好的⽅式来求出全局最优解的。而经典的近似算法——“贪心算法”（信息增益），每次只考虑局部最好的情况，所以⼀般带来的是相对最好的解决⽅案。