图解集成学习中的梯度提升思想

摘要： 本文讲述集成学习中的梯度提升方法的思想，以简单算术及图片的形式展示整个过程，一看就懂！

简介

       机器学习（ML）中的一个关键步骤是选择适合数据的最佳算法，根据数据中的一些统计数据和可视化信息，机器学习工程师将选择最佳算法。假设数据如下图所示，现在将其应用于回归示例：

       对数据进行可视化，如下图示所示，似乎线性回归模型对其比较合适：

       将根据线性等式制定仅具有一个输入x和一个输出y的回归模型：

 

y=ax+by=ax+b

其中a和b是上述等式的两个参数。
       由于我们不知道适合数据的最佳参数，因此可以从初始化取值开始。可以将a设置为1.0，将b设置为0.0，并可视化等式，如下图所示：

       从图中可以看到，似乎该模型不能基于参数初始化取值来拟合数据。
       很明显&