文章目录
GBDT概述
GBDT(Gradient Boosting Decision Tree, 梯度提升决策树)不仅可以用于分类问题，还可以用于回归问题，GBDT的核心思想在于，每一棵树学习的是之前所有树的整体预测和标签的误差，这里称之为残差. 即给定A的真实年龄为18，第一棵树预测的年龄是12岁，那么第二棵树预测的目标应当是6岁(18-12)…
GBDT中的所有的树都是CART回归树，而不是分类树.
前向分步算法
对于加法模型
f ( x ) = ∑ m = 1 M β m b ( x ; γ m ) f(x)=\sum_{m=1}^M\beta_mb(x;\gamma_m) f(x)=m=1∑Mβmb(x;γm)
其中 b ( x ; γ m ) b(x;\gamma_m) b(x;γm)为基函数， γ m \gamma_m γm为基函数的参数， β m \beta_m βm为基函数的系数.
在给定训练数据及损失函数的条件下，学习加法模型 f ( x ) f(x) f(x)成为经验风险极小化即损失函数极小化问题.
min β m , γ m ∑ i = 1 N L ( y i , ∑ m = 1 M β m b ( x i ; γ m ) ) \min_{\beta_m,\gamma_m}\sum_{i=1}^NL\Big(y_i,\sum_{m=1}^M\beta_mb(x_i;\gamma_m)) βm,γ
最低0.47元/天 解锁文章
598
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
