boosting 方法

最新推荐文章于 2023-07-26 11:00:00 发布

schwt

最新推荐文章于 2023-07-26 11:00:00 发布

阅读量618

点赞数

分类专栏： ML整理笔记

本文链接：https://blog.csdn.net/schwt/article/details/49762945

版权

ML整理笔记专栏收录该内容

12 篇文章 0 订阅

订阅专栏

boosting方法

1. AdaBoost

样本集: $\{(x_1,y_1), \cdots , (x_m, y_m)\}$ , where $x_i \in X, y_i \in \{-1,+1\}$

初始化样本权重： $D_1(i) = \frac 1 m, i = 1, \cdots , m$
遍历 $T$ 棵树：

for $t = 1, \cdots, T$ :

第 $t$ 个分类器为 $h_t: X \rightarrow \{-1, 1\}$ 。分类器的损失定义为误分类的（加权）个数：

$ϵ [h] = \sum i D t (i) | y i \neq h (x i) |$ $\epsilon[h] = \sum_i D_t(i)|y_i \neq h(x_i)|$
找到最小化这个误差的分类器：
$h t = a r g min h ϵ t [h]$ $h_t = arg\min_h \epsilon_t[h]$
这样得到的分类误差为 $\epsilon_t = \epsilon[h_t]$
$t$ 的分类器权重：

$α t = 1 2 ln 1 - ϵ t ϵ t$ $\alpha_t = \frac 1 2 \ln \frac{1-\epsilon_t }{\epsilon_t }$
更新每个样本权重（为下一轮使用）( $Z_t$ 是归一化因子)：

$D t + 1 (i) = 1 Z t D t (i) exp [- α t y i h t (x i)]$ $D_{t+1}(i) = \frac 1 {Z_t} D_t(i) \exp[-\alpha_t y_i h_t(x_i)]$

输出最终分类器：

$s i g n (H (x) = \sum t α t h t (x))$ $sign\left( H(x) = \sum_t \alpha_th_t(x) \right)$

2. Gradient boost Regression Tree

预测函数： $F(\mathbf x)$
损失函数： $L(y_i, F(\mathbf x_i))$

Gradient Boost

类目： $k = 1 \to K$ 初始化： $F_{k0}(\mathbf x) = 0$ 依次生成 $M$ 棵树: for $m = 1 \to M$ :

第 $k$ 类的预测值：

$p k (x) = - e F k ( x ) \sum l e F l ( x ) . k = 1 \to K$ $p_k(\mathbf x) = -\frac {e^{F_k(\mathbf x)}} { \sum_l e^{F_l(\mathbf x)}}. \quad k = 1 \to K$
遍历 $K$ 个分类： for $k = 1 \to K$ :
2.1 计算梯度（残差）：
$g i k = y i k - p k (x i) . i = 1 \to N$ $g_{ik} = y_{ik} - p_k(\mathbf x_i ). \quad i =1 \to N$
2.2 以上面的残差为目标，生成 $J$ 个叶子节点的树：
${R j k m} J j = 1 = J - terminal node t r e e ({g i k, x i} N n)$ $\{R_{jkm}\}_{j=1}^J = J-\text{terminal node} tree(\{g_{ik}, \mathbf x_i \}_n^N)$
2.3 计算每个叶子的增益：
$γ j k m = K - 1 K \sum x i \in R j k m g i k \sum x i \in R j k m | g i k | ( 1 - | g i k | ) . j = 1 \to J$ $\gamma_{jkm} = \frac {K-1}{K} \frac{\sum_{x_i \in R_{jkm}} g_{ik}}{\sum_{x_i \in R_{jkm}} |g_{ik}|(1 - |g_{ik}|)}. \quad j = 1 \to J$
2.4 更新预测函数：
$F k m (x) = F k, m - 1 (x) + \sum j = 1 J γ j k m I (x \in R j k m)$ $F_{km}(\mathbf x) = F_{k, m-1}(\mathbf x) +\sum_{j=1}^J\gamma_{jkm} I(\mathbf x\in R_{jkm})$