前向分布算法、Adaboost算法、提升树算法、梯度提升算法、GBDT(梯度提升决策树)和XGBoost(极限梯度提升)
一、梯度提升算法梯度提升的概念提升算法的思想F(x)为预测函数L(y,F(x))=1/2(y-F(x))2为平方误差L(y.F(x))=|y=F(x)|为绝对值误差F*(x)为使得所有样本平方误差的均值最小的F(x)提升算法的思路:首先我们假定F(x)是一族基函数fi(x)的加权和,现在我们要通过M次迭代得到一个最优的F(x),每一次迭代我们就加上一个使得所有样本平方误差之和...
原创
2018-11-22 23:04:26 ·
3963 阅读 ·
1 评论