前向分步算法

  机器学习很多时候都是假设空间寻找一个函数使得

$$f_\theta(X):\mathcal{X} \rightarrow \mathcal{Y},\theta \in R^n \tag{1}$$

式中$\mathcal{X}、\mathcal{Y}$分别表示输入空间(或特征空间)和输出空间，$R^n$表示参数空间。
  但是，往往我们找到的函数，在测试集上未必可以表现出好的效果，泛化能力不见得强，如果我们可以构造一系列的弱学习器，将其线性组合起来，或许可以得到很强的泛化能力。这个想法被称作加法模型，表示如下：