学习地址:https://github.com/datawhalechina/team-learning-data-mining/tree/master/EnsembleLearning
Task 10 的主要学习内容是 前向分布算法与梯度提升决策树
前向分布算法与梯度提升决策树
1. 前向分布算法
1.1 加法模型
加法模型的基本思想是将不同的模型线性相加,使得多个弱分类器组合得到强分类器。
其形式为:
f ( x ) = ∑ m = 1 M β m b ( x ; γ m ) f(x)=\sum_{m=1}^{M} \beta_{m} b\left(x ; \gamma_{m}\right) f(x)=∑m=1Mβmb(x;γm)
对加法模型f(x)的损失函数极小化即:
min β , γ ∑ i = 1 N L ( y i , ∑ m = 1 M β m b ( x ; γ m ) ) ) \min _{\beta, \gamma} \sum_{i=1}^{N} L\left(y_{i},\sum_{m=1}^{M} \beta_{m} b\left(x ; \gamma_{m}\right))\right) β,γmini=1∑NL(yi,m=1∑Mβmb(x;γm)))
1.2 前向分布算法
前项分布算法步骤<