机器学习：集成学习之boosting

最新推荐文章于 2024-05-04 21:25:06 发布
最新推荐文章于 2024-05-04 21:25:06 发布
阅读量3.9k 收藏 92
点赞数 12
分类专栏： sklearn 集成学习 文章标签： 人工智能 机器学习 sklearn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_58475958/article/details/118881248
版权

1.Boosting介绍

Boosting体现了提升的思想：

  • 每一个训练器重点关注前一个训练器不足的地方进行训练
  • 通过加权投票的方法得出最后的预测结果
  • 在这里插入图片描述

2.Boosting和Bagging对比

区别一：数据方面

  • Boosting：使用的是全部训练样本，根据前一个模型的学习结果调整数据的重要性
  • Bagging：对数据进行采样训练

区别二：集成策略

  • Bagging：对所有的弱学习器预测的结果进行平权投票，票数较多的最终的强学习器的预测结果。
  • Boosting：每一个后边的弱学习器对前一个弱学习器进行加权投票

区别三：学习顺序

  • Bagging：并行学习，每一个学习器之间没有依赖关系
  • Boosting：串行学习，有先后顺序

3.Adaboost

Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练出不同的基分类器，构成一个更强的强分类器。
基本思想如下：

1、计算样本的权重

  • 样本分类正确，降低其样本的权重
  • 样本分类错误，提高其样本的权重

2、计算基学习器的错误率

  • 错误分类的样本越多，其错误率越高
  • 错误分类的样本越少，其错误率越低

3、计算基学习器的权重

  • 模型错误率越低，则其权重越大
  • 模型错误率越高，则其权重越小

3.1 Adaboost构建过程

1、初始化训练样本权重相等，训练第一个基学习器

  • 如果有100个样本，则每一个样本的初始权重都为0.01
  • 根据预测结果计算、更新：样本权重和模型权重

2、根据新的权重的样本集训练第二个基学习器

  • 根据预测结果计算、更新：样本权重和模型权重

3、迭代训练：在前一个基学习器的基础上，根据新的样本权重训练当前的学习器

4、直至训练出m个基学习器

具体公式如下：
H ( x ) = sign ⁡ ( ∑ i = 1 m α i h i ( x ) ) H(x)=\operatorname{sign}(\sum_{i=1}^m\alpha_ih_i(x)) H(x)=sign(i=1∑m​αi​hi​(x))
公式中，α 为模型的权重，输出结果大于 0 则归为正类，小于 0 则归为负类。

模型权重计算公式：
α t = 1 2 ln ⁡ ( 1 − ε t ε t ) \alpha_t=\frac{1}{2}\ln(\frac{1-\varepsilon_t}{\varepsilon_t}) αt​=21​ln(εt​1−εt​​)
样本权重计算公式：
D t + 1 ( x ) = D t ( x ) Z t ∗ { e − α t ,  预测值  =  真实值  e α t ,  预测值  ≠  真实值  D_{t+1}(x)=\frac{D_{t}(x)}{Z_{t}} *\left\{\begin{array}{ll} e^{-\alpha_{t}}, & \text { 预测值 }=\text { 真实值 } \\ e^{\alpha_{t}}, & \text { 预测值 } \neq \text { 真实值 } \end{array}\right. Dt+1​(x)=Zt​Dt​(x)​∗{e−αt​,eαt​,​ 预测值 = 真实值  预测值 ​= 真实值 ​
Zt 为归一化值（所有样本权重的总和），Dt 为样本权重，αt 为模型权重。

3.2 Adaboost案例分析

下面为训练数数据，假设弱分类器由 x 产生，其阈值 v 使该分类器在训练数据集上的分类误差率最低，试用 Adaboost 算法学习一个强分类器。

序号12345678910
x0123456789
y111-1-1-1111-1

3.2.1 构建第一棵树

假设我们用决策树作为基学习器：

1、初始化样本的的权重，每一个样本的权重为：0.1
2、构建第一个基学习器：

 1、寻找最优分裂点

  1. 对特征值 x 进行排序，确定分裂点为：0.5、1.5、2.5、3.5、4.5、5.5、6.5、7.5、8.5
  2. 当以 0.5 为分裂点时，有 5 个样本分类错误，错误率是：0.1 * 5=0.5
  3. 当以 1.5 为分裂点时，有 4 个样本分类错误，错误率是0.4
  4. 当以 2.5 为分裂点时，有 3 个样本分类错误，错误率是0.3
  5. 当以 3.5 为分裂点时，有 4 个样本分类错误，错误率是0.4
  6. 当以 4.5 为分裂点时，有 5 个样本分类错误，错误率是0.5
  7. 当以 5.5 为分裂点时，有 6 个样本分类错误，错误率是：0.1 * 3+0.1 * 3 = 0.6
  8. 当以 6.5 为分裂点时，有 5 个样本分类错误，错误率是0.5
  9. 当以 7.5 为分裂点时，有 4 个样本分类错误，错误率是0.4
  10. 当以 8.5 为分裂点时，有 3 个样本分类错误，错误率是0.3
  11. 最终，选择以 2.5 作为分裂点，计算得出基学习器错误率为：0.3

 2、计算模型权重
α 1 = 1 2 ln ⁡ ( 1 − 0.3 0.3 ) = 0.4236 \alpha_1 = \frac{1}{2}\ln(\frac{1-0.3}{0.3})=0.4236 α1​=21​ln(0.31−0.3​)=0.4236
 3、更新样本权重

  1. 分类正确的样本为：1、2、3、4、5、6、10，其计算公式为：e-α1
  2. 分类正确样本权重为：e-0.4236=0.6547
  3. 分类错误样本权重为：7、8、9，其计算公式为：eα1
  4. 分类错误样本权重为：e0.4236=1.5275
  5. 将所有的权重值归一化到0-1范围内 Z1：0.6547*0.7+1.5275*0.3=0.9165
  6. 分类正确样本权重归一化为：
     分类正确样本最终权重为：
    D 2 r = D 1 Z 1 ⋅ e − α 1 = 0.1 0.9165 × 0.6547 = 0.07143 D_{2r}=\frac{D_1}{Z_1}\cdot {e^{-\alpha_1}}=\frac{0.1}{0.9165}\times 0.6547=0.07143 D2r​=Z1​D1​​⋅e−α1​=0.91650.1​×0.6547=0.07143
     分类错误样本最终权重为：
    D 2 e = D 1 Z 1 ⋅ e α 1 = 0.1 0.9165 × 1.5275 = 0.1667 D_{2e}=\frac{D_1}{Z_1}\cdot {e^{\alpha_1}}=\frac{0.1}{0.9165}\times 1.5275=0.1667 D2e​=Z1​D1​​⋅eα1​=0.91650.1​×1.5275=0.1667

 4、由此可得基学习器为：

小于2.5
大于2.5
10个样本
3个样本,输出类别:1
7个样本,输出类别:-1

 5、样本更新权重为：

序号12345678910
x0123456789
w0.071430.071430.071430.071430.071430.071430.16670.16670.16670.07143
y111-1-1-1111-1

3.2.2 构建第二棵树

 1、寻找最优分裂点

  1. 当以 0.5 为分裂点时，有 5 个样本分类错误，错误率为：0.07143 * 2 + 0.16667 * 3 = 0.64287
  2. 当以 1.5 为分裂点时，有 4 个样本分类错误，错误率为：0.07143 * 1 + 0.16667 * 3 = 0.57144
  3. 当以 2.5 为分裂点时，有 3 个样本分类错误，错误率为：0.16667 * 3 = 0.57144 = 0.5
  4. 当以 3.5 为分裂点时，有 4 个样本分类错误，错误率为：0.07143 * 1 + 0.16667 * 3 = 0.57144
  5. 当以 4.5 为分裂点时，有 5 个样本分类错误，错误率为：0.07143 * 2 + 0.16667 * 3 = 0.64287
  6. 当以 5.5 为分裂点时，有 6 个样本分类错误，错误率为：0.07143 * 3 + 0.16667 * 3 = 0.7143
  7. 当以 6.5 为分裂点时，有 5 个样本分类错误，错误率为：0.07143 * 3 + 0.16667 * 2 = 0.54763
  8. 当以 7.5 为分裂点时，有 4 个样本分类错误，错误率为：0.07143 * 3 + 0.16667 * 1 = 0.38096
  9. 当以 8.5 为分裂点时，有 3 个样本分类错误，错误率为：0.07143 * 3 = 0.21429
  10. 最终，选择以 8.5 作为分裂点，计算得出基学习器错误率为：0.21429

 2、计算模型权重
α 2 = 1 2 ⋅ ln ⁡ ( 1 − 0.21429 0.21429 ) = 0.64963 \alpha_2 = \frac{1}{2}\cdot\ln(\frac{1-0.21429}{0.21429})=0.64963 α2​=21​⋅ln(0.214291−0.21429​)=0.64963
 3、更新样本权重

  1. 分类正确的样本为：1、2、3、7、8、9、10，其计算公式为：e-α2
  2. 分类正确样本权重为：e-0.64963=0.52224
  3. 分类错误样本权重为：4、5、6，其计算公式为：eα2
  4. 分类错误样本权重为：e0.64963=1.91483
  5. 将所有的权重值归一化到0-1范围内 Z2：0.07143 * 0.52224 * 4 + 0.16667 * 0.52224 * 3+ 0.07143 * 1.91483 * 3= 0.82067
  6. 分类正确样本权重归一化为：
     分类正确样本最终权重为：
    D 3 r = D 2 r Z 2 ⋅ e − α 2 = 0.07143 0.82067 × 0.52224 = 0.0455 D_{3r}=\frac{D_{2r}}{Z_2}\cdot {e^{-\alpha_2}}=\frac{0.07143}{0.82067}\times 0.52224=0.0455 D3r​=Z2​D2r​​⋅e−α2​=0.820670.07143​×0.52224=0.0455
    D 3 r = D 2 r Z 2 ⋅ e − α 2 = 0.16667 0.82067 × 0.52224 = 0.1061 D_{3r}=\frac{D_{2r}}{Z_2}\cdot {e^{-\alpha_2}}=\frac{0.16667}{0.82067}\times 0.52224=0.1061 D3r​=Z2​D2r​​⋅e−α2​=0.820670.16667​×0.52224=0.1061
     分类错误样本最终权重为：
    D 3 e = D 2 e Z 2 ⋅ e α 2 = 0.07143 0.82067 × 1.91483 = 0.16667 D_{3e}=\frac{D_{2e}}{Z_2}\cdot {e^{\alpha_2}}=\frac{0.07143}{0.82067}\times 1.91483=0.16667 D3e​=Z2​D2e​​⋅eα2​=0.820670.07143​×1.91483=0.16667

 4、由此可得基学习器为：

小于8.5
大于8.5
10个样本
9个样本,输出类别:1
1个样本,输出类别:-1

 5、样本更新权重为：

序号12345678910
x0123456789
w0.04550.04550.04550.166670.166670.166670.10610.10610.10610.0455
y111-1-1-1111-1

3.2.3 构建第三棵树

 1、寻找最优分裂点：通过调整特征权重以后，发现目标值为-1的特征值权重占比较大，说明目标值为-1的样本容易分错，建立第三棵树时重点关注分错特征值。

  1. 当以 0.5 为分裂点时，有 5 个样本分类错误，错误率为：0.0455 * 1 + 0.16667 * 3 + 0.0455 * 1= 0.59101
  2. 当以 1.5 为分裂点时，有 4 个样本分类错误，错误率为：0.0455 * 2 + 0.16667 * 3 + 0.0455 * 1 = 0.63651
  3. 当以 2.5 为分裂点时，有 3 个样本分类错误，错误率为：0.0455 * 3 + 0.16667 * 3 + 0.0455 * 1 = 0.68201
  4. 当以 3.5 为分裂点时，有 4 个样本分类错误，错误率为：0.0455 * 3 + 0.16667 * 2 + 0.0455 * 1 = 0.51534
  5. 当以 4.5 为分裂点时，有 5 个样本分类错误，错误率为：0.0455 * 3 + 0.16667 * 1 + 0.0455 * 1 = 0.34867
  6. 当以 5.5 为分裂点时，有 6 个样本分类错误，错误率为：0.0455 * 3 + 0.16667 * 0 + 0.0455 * 1 = 0.182
  7. 当以 6.5 为分裂点时，有 5 个样本分类错误，错误率为：0.0455 * 3 + 0.1061 * 1 + 0.0455 * 1 = 0.2881
  8. 当以 7.5 为分裂点时，有 4 个样本分类错误，错误率为：0.0455 * 3 + 0.1061 * 2 + 0.0455 * 1 = 0.3942
  9. 当以 8.5 为分裂点时，有 3 个样本分类错误，错误率为：0.0455 * 3 + 0.1061 * 3 + 0.0455 * 1 = 0.5003
  10. 最终，选择以 5.5 作为分裂点，计算得出基学习器错误率为：0.182

 2、计算模型权重
α 3 = 1 2 ⋅ ln ⁡ ( 1 − 0.182 0.182 ) = 0.7514 \alpha_3 = \frac{1}{2}\cdot\ln(\frac{1-0.182}{0.182})=0.7514 α3​=21​⋅ln(0.1821−0.182​)=0.7514

 3、更新样本权重

  1. 分类正确的样本为：4、5、6、7、8、9，其计算公式为：e-α3
  2. 分类正确样本权重为：e-0.7514=0.4717
  3. 分类错误样本权重为：1、2、3、10，其计算公式为：eα3
  4. 分类错误样本权重为：e0.7514=2.11997
  5. 将所有的权重值归一化到0-1范围内 Z3：0.0455 * 2.11997 * 3 + 0.0455 * 2.11997 * 1 + 0.16667 * 0.4717 * 3 + 0.1061 * 0.4717 * 3= 0.77183
  6. 分类正确样本权重归一化为：
     分类正确样本最终权重为：
    D 4 r = D 3 r Z 3 ⋅ e − α 3 = 0.16667 0.77183 × 0.4717 = 0.10185 D_{4r}=\frac{D_{3r}}{Z_3}\cdot {e^{-\alpha_3}}=\frac{0.16667}{0.77183}\times 0.4717=0.10185 D4r​=Z3​D3r​​⋅e−α3​=0.771830.16667​×0.4717=0.10185
    D 4 r = D 3 r Z 3 ⋅ e − α 3 = 0.1061 0.77183 × 0.4717 = 0.06484 D_{4r}=\frac{D_{3r}}{Z_3}\cdot {e^{-\alpha_3}}=\frac{0.1061}{0.77183}\times 0.4717=0.06484 D4r​=Z3​D3r​​⋅e−α3​=0.771830.1061​×0.4717=0.06484
     分类错误样本最终权重为：
    D 4 e = D 3 e Z 2 ⋅ e α 3 = 0.0455 0.77183 × 2.11997 = 0.12497 D_{4e}=\frac{D_{3e}}{Z_2}\cdot {e^{\alpha_3}}=\frac{0.0455}{0.77183}\times 2.11997=0.12497 D4e​=Z2​D3e​​⋅eα3​=0.771830.0455​×2.11997=0.12497

 4、由此可得基学习器为：

小于5.5
大于5.5
10个样本
6个样本,输出类别:-1
4个样本,输出类别:1

 5、样本更新权重为：

序号12345678910
x0123456789
w0.124970.124970.124970.064840.064840.064840.064840.064840.064840.12497
y111-1-1-1111-1

依次迭代更新到n棵树：

3.2.4 最终强学习器

假设：我们只构建 3 棵决策树，此时我们的模型如下：

小于2.5
大于2.5
小于8.5
大于8.5
小于5.5
大于5.5
10个样本
3个样本,输出类别:1
7个样本,输出类别:-1
10个样本
9个样本,输出类别:1
1个样本,输出类别:-1
10个样本
6个样本,输出类别:-1
4个样本,输出类别:1

此时得到强学习器：
H ( x ) = sign ⁡ ( 0.4236 ∗ h 1 ( x ) + 0.64963 ∗ h 2 ( x ) + 0.7514 ∗ h 3 ( x ) ) \mathrm{H}(x)=\operatorname{sign}\left(0.4236* h_{1}(x) + 0.64963* h_{2}(x) + 0.7514 * h_{3}(x)\right) H(x)=sign(0.4236∗h1​(x)+0.64963∗h2​(x)+0.7514∗h3​(x))

  1. 如果 H(x) 的值大于 0 则归为正类
  2. 如果 H(x) 的值小于 0 则归为负类

3.2.5 验证强学习器

取样本6为例：

  • 代入第一个弱学习器，输出-1
  • 代入第二个弱学习器，输出1
  • 代入第三个弱学习器，输出1
    H ( x ) = sign ⁡ ( 0.4236 × ( − 1 ) + 0.64963 × 1 + 0.7514 × 1 ) = sign ⁡ ( 0.97743 ) \mathrm{H}(x)=\operatorname{sign}\left(0.4236\times (-1) + 0.64963\times 1 + 0.7514 \times 1\right)=\operatorname{sign}(0.97743) H(x)=sign(0.4236×(−1)+0.64963×1+0.7514×1)=sign(0.97743)

4.GBDT

4.1 GBDT基本概念

概念：

GBDT 的全称是 Gradient Boosting Decision Tree，梯度提升决策树，简称梯度提升树。

  1. GBDT 使用 CART 回归树
  2. CART 回归树使用平方误差

4.2 提升树

提升树的基本思想去拟合残差。

案例分析：

x12345678910
目标值5.565.705.916.406.807.058.908.709.009.05

4.2.1 构建第一棵树

1、计算训练数据的最优切分点，及平方损失

切分点1.52.53.54.55.56.57.58.59.5
平方误差15.7212.078.365.783.911.938.0111.7315.74

计算每一个划分点的平方损失，例如：1.5 的平方损失计算过程为：

  1. R1 为 小于 1.5 的样本个数，样本数量为：1，其输出值为：5.56
    R 1 = 5.56 \begin{array}{l} R1 =5.56 \\ \end{array} R1=5.56​

  2. R2 为 大于 1.5 的样本个数，样本数量为：9 ，其输出值为：
    R 2 = ( 5.7 + 5.91 + 6.4 + 6.8 + 7.05 + 8.9 + 8.7 + 9 + 9.05 ) / 9 = 7.50 \begin{array}{l} R 2=(5.7+5.91+6.4+6.8+7.05+8.9+8.7+9+9.05) / 9=7.50 \end{array} R2=(5.7+5.91+6.4+6.8+7.05+8.9+8.7+9+9.05)/9=7.50​

  3. 该划分点的平方损失：
    L ( 1.5 ) = ( 5.56 − 5.56 ) 2 + [ ( 5.7 − 7.5 ) 2 + ( 5.91 − 7.5 ) 2 + … + ( 9.05 − 7.5 ) 2 ] = 0 + 15.72 = 15.72 L(1.5)=(5.56-5.56)^{2}+\left[(5.7-7.5)^{2}+(5.91-7.5)^{2}+\ldots+(9.05-7.5)^{2}\right]=0+15.72=15.72 L(1.5)=(5.56−5.56)2+[(5.7−7.5)2+(5.91−7.5)2+…+(9.05−7.5)2]=0+15.72=15.72

其他划分点的平方损失同上。

2、当 6.5 作为切分点时，平方损失最小，此时得到第一棵决策树：

小于6.5
大于6.5
10个样本
6个样本, 输出: 6.24
4个样本, 输出: 8.91

  • 该树左子树的输出值为：(5.56 + 5.70 + 5.91 + 6.40 + 6.80 + 7.05) / 6 ≈ 6.24

  • 该树右子树的输出值为：(8.90 + 8.70 + 9.00 + 9.05) / 4 ≈ 8.91

4.2.2 构建第二棵树

1、残差表如下：

x12345678910
目标值5.565.705.916.406.807.058.908.709.009.05
预测值6.246.246.246.246.246.248.918.918.918.91
残差-0.68-0.54-0.330.160.560.81-0.01-0.210.090.14

2、以残差为目标值，拟合残差，进行二次构建CART树

x12345678910
目标值-0.68-0.54-0.330.160.560.81-0.01-0.210.090.14

3、找出最优切分点，计算每一个切分点的平方损失（同过程一计算切分点）

切分点1.52.53.54.55.56.57.58.59.5
平方损失1.421.00.791.131.661.931.931.91.91

4、以3.5为切分点时，平方损失最小，此时得到的二叉决策树为：

小于3.5
大于3.5
10个样本
3个样本, 输出: -0.52
7个样本, 输出: 0.22

  • 该树左子树的输出值为：(-0.68-0.54-0.33) / 3 ≈ 0.52

  • 该树右子树的输出值为：(0.16+0.56+0.81+(-0.01)+(-0.21)+0.09+0.14) / 7 ≈ 0.22

4.2.3 构建第三棵树

1. 残差表如下：

x12345678910
目标值-0.68-0.54-0.330.160.560.81-0.01-0.210.090.14
预测值-0.52-0.52-0.520.220.220.220.220.220.220.22
残差-0.16-0.020.21-0.060.340.57-0.23-0.43-0.13-0.08

2、以残差为目标值，拟合残差，进行三次构建CART树

x12345678910
目标值0.16-0.020.21-0.060.340.57-0.23-0.43-0.13-0.08

3、找出最优切分点，计算每一个切分点的平方损失

切分点1.52.53.54.55.56.57.58.59.5
平方损失1.341.351.291.311.41.261.321.41.4

4、当 6.5 作为切分点时，平方损失最小，此时得到第二棵决策树：

小于6.5
大于6.5
10个样本
6个样本, 输出: 0.15
4个样本, 输出: -0.22

  • 该树左子树的输出值为：(0.16+(-0.02)+0.21+(-0.06)+0.34+0.57) / 6 ≈ 0.15

  • 该树右子树的输出值为：(-0.23-0.43-0.13-0.08) / 4 ≈ -0.22

4.2.4 最终强学习器

假设：我们只构建 3 棵决策树，此时我们的模型如下：

小于6.5
大于6.5
小于3.5
大于3.5
小于6.5
大于6.5
10个样本
6个样本, 输出: 6.24
4个样本, 输出: 8.91
10个样本
3个样本, 输出: -0.52
7个样本, 输出: 0.22
10个样本
6个样本, 输出: 0.15
4个样本, 输出: -0.22
x12345678910
目标值5.565.705.916.406.807.058.908.709.009.05
预测值5.875.875.876.616.616.618.918.918.918.91

模型的总的平方误差为：0.47

(5.56 - 5.87)**2 + (5.70-5.87)**2 + (5.91-5.87)**2 + (6.40-6.61)**2 + (6.80-6.61)**2 + (7.05-6.61)**2 + (8.90-8.91)**2 + (8.70-8.91)**2 + (9-8.91)**2 + (9.05-8.91)**2 = 0.47

如果我们继续构增加基学习器到 6 个，那么平方误差会从 0.47 降低到 0.17。该树模型即为提升树。

4.3 梯度提升树

梯度提升树的基本思想是拟合负梯度

提升树使用加法模型和前向分布算法实现学习的优化过程。

x12345678910
目标值5.565.705.916.406.807.058.908.709.009.05

4.3.1 初始化树

我们通过计算当模型预测值为何值时，会使得第一个基学习器的平方误差最小，即：求损失函数对 f(xi) 的导数，并令导数为0.

L ( y , f ( x ) ) = 1 2 ∑ i = 1 n ( y i − f ( x i ) ) 2 L(y,f(x))=\frac{1}{2}\sum_{i=1}^n(y_i-f(x_i))^2 L(y,f(x))=21​i=1∑n​(yi​−f(xi​))2
∂ L ( y , f ( x i ) ) ∂ f ( x i ) = ∑ i = 1 n ( y − f ( x i ) ) = 0 = > ∑ i = 1 n y i − ∑ i = 1 n f ( x i ) = 0 = > f ( x i ) = ( ∑ i = 1 n y i ) / n \frac{\partial L(y,f(x_i))}{\partial f(x_i)}=\sum_{i=1}^n(y-f(x_i))=0=>\sum_{i=1}^ny_i-\sum_{i=1}^nf(x_i)=0=>f(x_i)=({\sum_{i=1}^ny_i})/ n ∂f(xi​)∂L(y,f(xi​))​=i=1∑n​(y−f(xi​))=0=>i=1∑n​yi​−i=1∑n​f(xi​)=0=>f(xi​)=(i=1∑n​yi​)/n
将样本代入上述公式，此时得到初始化基学习器为：

10个样本, 输出值: 7.31

4.3.2 构建第一棵树

由于我们拟合的是样本的负梯度，即：

∂ L ( y , f ( x i ) ) ∂ f ( x i ) = f ( x i ) − y i \frac{\partial L(y,f(x_i))}{\partial f(x_i)}= f(x_i)-y_i ∂f(xi​)∂L(y,f(xi​))​=f(xi​)−yi​
− [ ∂ L ( y , f ( x i ) ) ∂ f ( x i ) ] = y i − f ( x i ) -[\frac{\partial L(y,f(x_i))}{\partial f(x_i)}]= y_i-f(x_i) −[∂f(xi​)∂L(y,f(xi​))​]=yi​−f(xi​)

1、负梯度表如下：

x12345678910
目标值5.565.705.916.406.807.058.908.709.009.05
预测值7.317.317.317.317.317.317.317.317.317.31
负梯度-1.75-1.61-1.40-0.91-0.51-0.261.591.391.691.74
切分点1.52.53.54.55.56.57.58.59.5
平方损失15.7212.088.375.783.911.938.0111.7415.74

2、以 6.5 作为切分点损失最小，构建决策树如下：

小于6.5
大于6.5
10个样本
6个样本, 输出: -1.07
4个样本, 输出: 1.60

4.3.3 构建第二棵树

x12345678910
目标值-1.75-1.61-1.40-0.91-0.51-0.261.591.391.691.74
预测值-1.07-1.07-1.07-1.07-1.07-1.071.601.601.601.60
负梯度-0.68-0.54-0.330.160.560.81-0.01-0.210.090.14
切分点1.52.53.54.55.56.57.58.59.5
平方损失1.421.000.791.131.661.931.931.91.91

以 3.5 作为切分点损失最小，构建决策树如下：

小于3.5
大于3.5
10个样本
3个样本, 输出: -0.52
7个样本, 输出: 0.22

4.3.4 构建第三棵树

x12345678910
目标值-0.68-0.54-0.330.160.560.81-0.01-0.210.090.14
预测值-0.52-0.52-0.520.220.220.220.220.220.220.22
负梯度-0.16-0.020.19-0.060.340.59-0.23-0.43-0.13-0.08
切分点1.52.53.54.55.56.57.58.59.5
平方损失0.760.770.790.790.760.470.590.760.78

以 6.5 作为切分点损失最小，构建决策树如下：

小于6.5
大于6.5
10个样本
6个样本, 输出: 0.15
4个样本, 输出: -0.22

4.3.5 最终强学习器

假设：我们只构建 4 棵决策树，此时我们的模型如下：

小于6.5
大于6.5
小于3.5
大于3.5
小于6.5
大于6.5
10个样本, 输出值: 7.31
10个样本
6个样本, 输出: -1.07
4个样本, 输出: 1.60
10个样本
3个样本, 输出: -0.52
7个样本, 输出: 0.22
10个样本
6个样本, 输出: 0.15
4个样本, 输出: -0.22
x12345678910
目标值5.565.705.916.406.807.058.908.709.009.05
预测值5.875.875.876.616.616.618.918.918.918.91

4.3.6 GBDT总结

残差：

  一个样本真实值与预测值之间的差距。当我们知道损失函数时，残差计算可以用下面的过程来计算：

  1. 计算损失函数的负梯度
  2. 将某个样本代入负梯度的公式中，得出的结果即为残差
  3. 所以，拟合残差也叫做拟合负梯度

算法流程:

  1. 初始化弱学习器
  2. 迭代构建学习器，每一个学习器拟合上一个学习器的负梯度
  3. 直到达到指定的学习器个数
  4. 当输入未知样本时，将所有弱学习器的输出结果加起来作为强学习器的输出

学习率:

  1. 学习率用来平衡树的数量、每棵树的贡献，学习率可以抵抗过拟合，通过调整学习率的大小调整树的贡献程度
  2. 学习率越小，每棵树的贡献就越小，需要更多的树提高精度
  3. 学习率越大，每棵树的贡献就越大，需要树的数量就越少
  4. 一般情况下为了防止过拟合，提高模型的泛化性能，通过调整学习率，让模型对于训练集的拟合效果不那么高，降低对训练集的依赖性。
示木007
关注
  • 12
    点赞
  • 踩
  • 92
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Scikit-Learn 集成方法（Ensemble method） 学习
夜晓楼的博客
03-18 1万+
集成算法的目标是：组合几个基学习器的预测，以此来提高单个模型的泛化性和健壮性 集成方法常分为两类： averging methods：平均法的原则是： 独立的构建几个学习器，然后平均他们的预测。通常，组合的学习器要比任何一个单个的学习器要好，因为它降低了方差。           其中的代表：bagging 方法，随即森林 boosting methods：学习器依次构建，试图降低
机器学习算法Boosting
02-24
本文来自于标点符网站，本文将详细介绍机器学习中的两大类：监督学习和非监督学习，以及最主要的三种集成学习框架，希望对您的学习有所帮助。机器学习通常会被分为2大类：监督学习和非监督学习。在监督学习中，训练...
集成学习-boosting
weixin_43557816的博客
04-20 1241
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 集成学习-boosting前言boosting方式的思路adaboostadaboost原理adaboost性能分析 前言 boosting方法主要是对同一组数据进行反复训练，通过调整数据权重，得到一系列弱学习器，最后使用一些决策方式将这些弱学习器结合，组成一个强学习器。这种集成方法主要是通过降低模型偏差、增高模型复杂度的方式来提升预测效果。 boosting方式的思路 以一个例子来说明boosting方式。三个同班学生（弱学习器）完成
集成学习——Boosting总结
shilx544的博客
10-25 542
Boosting是集成学习中的一大类方法，它是一种“串行”的机器学习方法，即从初始训练集中训练出一个基学习器，再根据基学习器的表现对训练样本分布进行调整，使得先前学习错的训练样本在后续中受到更多关注，然后基于调整后的样本分布来训练下一个基学习器，每个基学习器之间是输入-输出的关系，如此重复进行，直至基学习器的数目达到事先指定的值T，最终将这T个学习器进行加权结合。         对于Boost
【机器学习-22】集成方法---Boosting之AdaBoost
最新发布
qq_38614074的博客
05-04 8315
1.1*集成学习的概念**1.1.1集成学习的定义集成学习是一种通过组合多个学习器来完成学习任务的机器学习方法。它通过将多个单一模型（也称为“基学习器”或“弱学习器”）的输出结果进行集成，以获得比单一模型更好的泛化性能和鲁棒性。1.1.2集成学习的基本思想集成学习的基本思想可以概括为“三个臭皮匠顶个诸葛亮”。通过将多个简单模型（弱学习器）的预测结果进行组合，可以得到一个更强大、更稳定的模型（强学习器）。这种组合可以有效地降低单一模型的偏差和方差，从而提高整体的预测性能。1.1.3。
集成学习-Boosting
Mark_Australia的博客
11-22 850
Boosting集成学习总结
集成学习算法策略 Boosting和Bagging
白水的博客
07-12 2174
集成学习是机器学习中的一个重要分支。 它主要包含两种策略：Boosting和Bagging。 Boosting和Bagging都是基于多个弱学习器(弱分类器)(例如：一颗欠拟合的决策树)的基础之上的，且要满足，每一个弱学习器的分类准确性都要强于随机分类(即准确率大于50%) 策略 Boosting方法 Bagging方法 训练方式 主要通过改变训练样本的权重(...
机器学习之集成学习理论与代码实践
06-14
详细讲解了集成学习的主要方法：Voting、Bagging、Boosting和Stacking。每一种集成方法都配有详细的代码讲解。能够使用集成模型完成分类或回归任务。
集成学习之bagging、boosting及AdaBoost的实现
02-02
机器学习处理问题时同样如此。集成学习（ensemblelearning)通过构建并结合多个学习器来完成学习任务，有时被称为多分类器学习系统、基于委员会的学习等。下图显示出集成学习的一般结构：先产生一组“个体学习器”，...
华为HCIA-AI v3.0 人工智能 学习笔记
qq_58513393的博客
09-05 1241
华为人工智能考试自学笔记
集成学习(Ensemble Learning),Bagging、Boosting、Stacking
Lavi的专栏
10-12 4955
1 集成学习概述 1.1 概述 在一些数据挖掘竞赛中，后期我们需要对多个模型进行融合以提高效果时，常常会用Bagging，Boosting，Stacking等这几个框架算法，他们不是一种算法，而是一种集成模型的框架。 集成学习在机器学习算法中具有较高的准去率，不足之处就是模型的训练过程可能比较复杂，效率不是很高。目前接触较多的集成学习主要有2种：基于Boosting的和基于Bagging，前者的代...
Boosting算法简介
07-27
Boosting算法简介笔记 Boosting算法简介笔记 Boosting算法简介笔记
集成学习（boosting）
crown的博客
03-28 429
boosting boosting是一种将弱分类器组合成强分类器的过程 构造一个强分类器很难 构造弱分类器不难 弱分类器的要求：强于随机猜测 (很浅的CART树即可) Adaboost算法 首先，是初始化训练数据的权值分布D1。假设有 N 个训练样本数据，则每一个训练样本最开始时，都被赋予 相同的权值： w 1=1/N。 然后，训练弱分类器 hi 。具体训练过程中是：如果 某个训练样本点...
bagging和boosting算法（集成学习算法）
奋斗才是年轻该有的状态
06-24 1万+
一、集成学习简介   在讲boosting和bagging算法之前，首先需要了解一下集成学习的概念。集成学习是指将若干弱分类器组合之后产生一个强分类器。弱分类器（weak learner）指那些分类准确率只稍好于随机猜测的分类器（error rate < 50%）。如今集成学习有两个流派，一种是bagging流派，它的特点是各个弱学习器之间没有依赖关系，可以并行拟合，随机森林算法就属于baggin
集成学习之Boosting
林林同學的博客
06-07 587
Boosting是集成算法之一，通过整合多个弱分类器，从而形成一个强分类器。任一弱学习算法可以通过加强提升到一个任意正确率的强学习算法，并通过构造一种多项式级的算法来实现这一加强过程，这就是最初的Boosting算法的原型。Boosting是一种将弱分类器通过某种方式结合起来得到一个分类性能大大提高的强分类器的分类方法。该方法可以把一些粗略的经验规则转变为高度准确的预测法则。强分类器对数据进行分类，
集成学习法之bagging方法和boosting方法
热门推荐
yip的个人博客
05-29 2万+
集成学习法之bagging方法和boosting方法
【机器学习】boosting和bagging
zkq_1986的博客
04-04 175
Boosting 是一族可将弱学习器提升为强学习器的算法，这族算法的工作机制类似：先从初始训练集训练出一个基学习器，再根据基学习器的表现对训练样本分布进行调整，使得先前基学习器做错的训练样本在后续受到更多的关注，然后基于调整后的样本分布来训练下一个基学习器；如此重复进行，直至基学习器数目达到事先指定的值T，最终将这T个基学习器进行加权结合。随着迭代不断进行，误差会越来越小，所以模型的偏差 bias...
集成方法Bagging和boosting比较
Blateyang的博客
10-27 1033
在看《机器学习实战》的第7章“AdaBoost元算法提高分类性能”时，看到了bagging算法和boosting算法，这两类算法很类似，都属于集成方法中基于同一种分类器多个不同实例的算法，但又有一些不同（主要在训练实例的构建上和分类器的训练方式上），为了加深自己的理解，对这两类算法进行简单的介绍和比较。
机器学习基础 集成学习基础（Boosting+Adaboost+GBDT）
mengxianglong123的博客
06-06 433
随着学习的积累从弱到强简而言之：每新加入一个弱学习器，整体能力就会得到提升代表算法：Adaboost，GBDT，XGBoost，LightGBM1.训练第一个学习器 2.调整数据分布 3.训练第二个学习器 4.再次调整数据分布 5.依次训练学习器，调整数据分布 6.整体过程实现 步骤一：初始化训练数据权重相等，训练第一个学习器。步骤二：AdaBoost反复学习基本分类器，在每一轮m=1,2,...,Mm=1,2,...,Mm=1,2,...,M顺次的执行下列操作：（a） 在权值分布为Dt​​D_t​​Dt​
机器学习之集成学习课件
10-22
机器学习的集成学习是通过将多个学习器结合起来完成学习任务的一种方法。这些学习器可以是同一种类型的（如决策树集成）或是不同类型的（如决策树和神经网络）。每个基算法单独进行预测，最终的结果由所有基算法进行...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值