本文介绍了梯度提升算法的基本原理，从最小二乘法出发，详细阐述了如何通过梯度下降优化模型，并逐步构建强预测模型。接着，讨论了在实际应用中使用决策树作为基学习器的梯度提升树，以及树的规模对模型复杂度的影响。
机器学习训练营——机器学习爱好者的自由交流空间（入群联系qq：2279055353）
介绍
梯度提升(Gradient Boosting)是一种用于回归和分类问题的机器学习技术。它集成弱预测模型，典型的是决策树，产生一个强预测模型。该方法分阶段建立弱模型，在每个阶段通过优化一个任意可微的损失函数建立弱模型。下面，我们以简单的最小二乘回归解释梯度提升法的原理。
最小二乘法的目标是，通过最小化均方误差 1 n ∑ i = 1 n ( y i − y ^ i ) 2 \dfrac{1}{n}\sum\limits_{i=1}^n (y_i-\hat{y}_i)^2 n1i=1∑n(yi−y^i)2, “教”一个模型 F F F 预测 y ^ = F ( x ) \hat{y}=F(x) y^=F(x).
在梯度提升的每一个阶段 m ,   1 ≤ m ≤ M m,\,1\le m\le M m,1≤m≤M, 假设有一个不完美的模型 F m F_m Fm, 然后在 F m F_m Fm 上增加一个估计量 h h h 改善它。即， F m + 1 ( x ) = F m ( x ) + h ( x ) F_{m+1}(x)=F_m(x)+h(x) Fm+1(x)=Fm(x)+h(x). 一个完美的 h h h 应该满足
F m + 1 ( x ) = F m ( x ) + h ( x ) = y F_{m+1}(x)=F_m(x)+h(x)=y Fm+1(x)=Fm(x)+h(x)=y, 或者，等价地， h ( x ) = y − F m ( x ) h(x)=y-F_m(x) h(x)=y−Fm(x). 因此，梯度提升将在残差
y − F m ( x ) y-F_m(x) y−F<
最低0.47元/天 解锁文章
扫一扫
3万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
