本文介绍了提升（Boosting）技术在机器学习中的应用，特别是梯度提升（Gradient Boosting）和AdaBoost算法。讨论了如何通过迭代构建弱预测模型并加权累加，以逼近损失函数的局部最小值。内容涵盖了梯度提升的优化过程、决策树在提升中的作用，以及Adaboost的权重分布更新和最终分类器的构建。
提升
-
引子：随机森林特点展开：
- 随机森林的决策树分别采样建立，相对独立。假定当前得到m-1棵决策树，通过现有的样本和决策树信息，推出第m棵决策树。形成随机森林后最后的投票构成在建立决策树时即确定。
-
提升是个机器学习技术
-
可以用于回归和分类问题
-
每一步产生一个弱预测模型（如决策树），并加权累加到总模型中；
-
如果每一步的弱预测模型生成都是依据损失函数的梯度方向，则称之为梯度提升。
- 梯度提升：
- 首先给定一个目标损失函数，定义域是所有科学的弱函数集合（基函数）
- 通过迭代选择一个负梯度方向上的基函数来逐渐逼近局部最小值
- 梯度提升：
-
提升的理论意义：如果一个问题存在弱分类器，则可以通过提升的方法得到强分类器。
-
-
提升算法
- 给定输入向量x和输出变量y组成若干训练样本 ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯ , ( x n , y n ) (x_1,y_1),(x_2,y_2),\cdots,(x_n,y_n) (x1,y1),(x2,y2),⋯,(xn,yn),目标是找到近似函数 F ^ ( x ) \hat F(x) F^(x),使得损失函数 L ( y , F ( x ) ) L(y,F(x)) L(y,F(x))的损失值最小。
- L ( y , F ( x ) ) L(y,F(x)) L(y,F(x))的典型定义为：
L ( y , F ( x ) ) = 1 2 ( y − F ( x ⃗ ) ) 2 L(y,F(x))=\frac 1 2 (y-F(\vec x))^2 L(y,F(x))=21(y−F(x))2
L ( y , F ( x ) ) = ∣ ( y − F ( x ⃗ ) ∣ L(y,F(x))=|(y-F(\vec x)| L(y,F(x))=∣(y−F(x)∣ - 假定最优函数为 F ∗ ( x ⃗ ) F^*(\vec x) F∗(x),即
F ∗ ( x ⃗ ) = a r g m i n E ( x , y ) [ L ( y , F ( x ⃗ ) ) ] F^*(\vec x)=arg min E_{(x,y)}[L(y,F(\vec x))] F∗(x)=argminE(x,y)[L(y,F(x))] - 假设F(x)是一族基函数f_i(x)的加权和
F ( x ⃗ ) = Σ i = 1 M γ i f i ( x ) + c o n s t F(\vec x)=\Sigma_{i=1}^M\gamma_if_i(x)+const F(x)=Σi=1Mγifi(x)+const - 梯度提升方法寻找最优解F(x),使得损失函数在训练集上的期望最小
- 首先给定常函数 F 0 ( x ) F_0(x) F0(x): F 0 ( x ) = arg min γ Σ i = 1 n L ( y i , γ ) F_0(x)=\arg\min\limits_{\gamma}\Sigma_{i=1}^nL(y_i,\gamma) F0(x)=argγminΣi=1nL(yi,γ)
- 以贪心的思路拓展得到 F m ( x ) F_m(x) Fm(x):
F m ( x ⃗ ) = F m − 1 ( x ⃗ ) + arg min f ∈ H Σ i = 1 n L ( y i , F m − 1 ( x ⃗ i ) + f ( x ⃗ i ) ) F_m(\vec x)=F_{m-1}(\vec x)+\arg\min\limits_{f \in H}\Sigma_{i=1}^nL(y_i,F_{m-1}(\vec x_i)+f(\vec x_i)) Fm(x)=Fm−1(x)+arg
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
