- 博客(2)
- 收藏
- 关注
RSS订阅原创 XGBoost
1. 原理xgboost代表“Extreme Gradient Boosting”，是对gradient boosting的优化，其原理还是基于GradientBoost，他的创新之处在于使用了二阶导数和正则项。xgboost的基学习器为CART。2.优化函数xgboost是加法模型，其结果是多个CAET树的结果的和，表示为:yi^=∑k=1Kfk(xi),fk∈F\hat{y_i}=\s...
2019-04-10 17:22:08
104
原创 Homework——GBDT（梯度提升树）
1.前向分步算法考虑加法模型f(x)=∑m=1Mβmb(x;γm)f(x)=\sum_{m=1}^M \beta_mb(x;\gamma_m)f(x)=∑m=1Mβmb(x;γm)，其中，b是基分类器，γ\gammaγ是基分类器的参数， β\betaβ是基分类器的系数。在标签数据以及损失函数L(y,f(x))已知的情况下，为了求解出f(x),需要最小化损失函数，minβm,γmL(y,...
2019-04-07 15:55:28
405
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人