高级算法梳理-Task2前向分步算法及提升树

本文根据李航的统计学习方法和相关博文总结而成

前向分步算法

加法模型:

                                                                

在给定训练数据及损失函数的条件下，学习加法模型成为经验风险极小化问题，即损失函数极小化问题：

                                                           

前向分步算法（forwardstagewisealgorithm）求解的想法是：加法模型从前向后，每一步只学习一个基函数及其系数，逐步逼近优化目标函数式（即上式），就可以简化优化复杂度。即每步只需优化如下损失函数：

                                                              

前向分步算法的算法流程：

输入：训练数据集<