Coursera - 机器学习技法 - 课程笔记 - Week 9

Decision Tree

Decision Tree Hypothesis

• 条件化融合——决策树
• 模仿人类做决策的过程

$$G(\mathbf{x})=\sum _t{q}_t(\mathbf{x})g_t(\mathbf{x})$$

• 其中，
  • $g_t(\mathbf{x})$为基本的假设，位于路径$t$的叶子节点，是一个常数
  • $q_t(\mathbf{x})$为条件，表示$\mathbf{x}$是否在路径$t$上
• 决策树中包含简单的决策节点
• 路径的视角的定义：

$$G(\mathbf{x})=\sum _t[[\mathbf{x}\text{ on path }t]]\cdot {\mathrm{leaf}}_t(\mathbf{x})$$

• 一种递归的定义：
  • $b(\mathbf{x})$表示当前决策下的哪一个分支
  • $G_c(\mathbf{x})$表示在当前分支下的子树的决策假设（递归定义）

$$G(\mathbf{x})=\sum _c[[b(\mathbf{x})=c]]\cdot G_c(\mathbf{x})$$

• 优势
  • 可解释性强
  • 十分的简单
  • 训练和预测的效率都比较搞
• 劣势
  • 理论保证比较少
  • 初学者在处理启发式选择时很难
  • 没有代表性的决策树算法

Decision Tree Algorithm

• 由递归定义得到算法（未指明终止条件，否则返回基本假设$g_t(\mathbf{x})$）
  1. 学习分支确定$b(\mathbf{x})$（最小分支误差）
  2. 按照分支将数据进行分割，得到${\mathcal{D}}_c$
  3. 使用${\mathcal{D}}_c$建立子树
  4. 返回最终模型：$G(\mathbf{x})={\sum }_c[[b(\mathbf{x})=c]]\cdot G_c(\mathbf{x})$
• CART：
  • 二叉树
  • 叶子节点$g_t(\mathbf{x})$是一个常数
    • 反应最佳$E_{in}$
    • 分类：最多的$y_n$
    • 回归：$y_n$的平均
  • 内部决策节点使用决策桩切分
  • 通过纯化程度决定分支
  • 纯度分析（下述为不纯度）：
    • 对回归任务，定义误差为$\frac{1}{N}{\sum }_n(y_n-\bar{y}{)}^2$，其中$\bar{y}$表示分支内所有$y_n$的平均
    • 对分类任务，定义误差为$\frac{1}{N}{\sum }_n[[y_n\ne y^{\ast }]]$，其中$y^{\ast }$表示分支内占多数的$y_n$
  • 对于分类，上述定义的误差（不纯度）只考虑了占多数的类别，应当考虑所有类别，因此定义Gini系数：$1-{\sum }_k{\left(\frac{{\sum }_n[[y_n=k]]}{N}\right)}^2$
  • 终止条件
    • 不纯度为0——当前分支所有标签都一样
    • 所有的样本特征都一样——无法进行决策桩算法
    • 上述两种均为被迫中止的情形——完全生成树——依据纯度生成的二叉树，其叶子数目为常数

Decision Tree Heuristics in C&RT

• 易于从二分类扩展为多分类
• 对于完全生成的CART：如果${\mathbf{x}}_n$都不同，那么必然有$E_{in}(G)=0$
  • 这样就会有非常大的过拟合风险——低阶子树都是根据一些非常小的${\mathcal{D}}_c$建立的
• 需要一个正则化项，比如限制叶子节点的数量$\Omega (G)$
• 目标改进：$\arg {\min }_G{E}_{in}(G)+\lambda \Omega (G)$
  • 被剪枝的决策树
  • $\lambda$的选择——Validation
• 对$G$很难进行枚举
  • 首先建立一个完全生成树
  • 不断地递归，每一次减去所有可剪去分支中$E_{i}n(G)$最小的
• 对于数值特征，我们可以直接使用数值的决策桩算法：$b(\mathbf{x})=[[x_i\le \theta ]]+1$
• 对于类别特征，使用抓门的决策桩算法（子集划分）：$b(\mathbf{x})=[[x_i\in S]]+1$
• 包括CART在内的决策树可以很好地处理类别特征
• 如果预测的时候，一些特征值丢失？
  • 替代分支，与丢失特征的切割类似

Decision Tree in Action

• 与AdaBoost有很大不同：前者对特征的分割是基于既有分割实现的，后者是对整个样本的不同特征分别考虑和分割
• 优势：
  • 人可解释
  • 可以轻易处理多类别
  • 对类别特征很容易处理
  • 出现特征值残缺时，可以使用替代搜索
  • 有效的非线性徐连