【机器学习基础02】决策树与随机森林

决策树

上图是一个决策树的图例，那么该决策树的数学表达为：
$$G(\mathbf{x})=\sum _{t=1}^T{q}_t(\mathbf{x})\cdot g_t(\mathbf{x})$$
其中$g_t(\mathbf{x})$也是一个决策树，$q(x)$表示的是$x$是否在$G$的路径$t$中。从递推树的角度看：

其中：

• $G(x)$ : full-tree hypothesis（当前根节点的全树模型）
• $b(x)$ : branching criteria（判断是哪个分支）
• $G_c(x)$: sub-tree hypothesis at the c-th branch（第c个分支的子树）

那么决策树的训练过程为：

从直观训练过程中，可以得知现在需要确认四个问题：

• number of branches（分支个数）$C$
• branching criteria（分支条件）$b(\mathbf{x})$
• termination criteria（终止条件）
• base hypothesis（基假设函数）$ g_t( \mathbf { x } )$

由于有这么多可选条件，那么决策树模型有很多种实现方法，一个常用的决策树CART树（Classification and Regression Tree（C&RT））

C&RT

那么上面四个问题是怎么解决的呢：

1. 使用二叉树。分支个数为 2（二叉树），使用 decision stump（即 $ b( \mathbf { x })$的实现方法）进行分段。
2. 分支条件$b(\mathbf{x})$ 也就是如何分支，最佳分支函数（模型）的选取，使用的是两部分数据是否 “纯” ，首先判断每段数据的纯度然后求平均值，作为本decision stump是否被选取的评价标准。

b ( x ) = argmin ⁡  decision stumps  h ( x ) ∑ c = 1 2 ∣ D c  with  h ∣ ⋅  impurity  ( D c  with  h ) b(\mathbf{x})=\underset{\text { decision stumps } h(\mathbf{x})}{\operatorname{argmin}} \sum_{c=1}^{2} \mid \mathcal{D}_{c} \text { with } h \mid \cdot \text { impurity }\left(\mathcal{D}_{c} \text { with } h\right) b(x)= decision stumps h(x)argmin​c=1∑2​∣D