GBDT算法梳理

1.前向分布算法
前向分布算法求解这一问题的优化方法是：每次只学习一个基函数及系数，逐步逼近最优解。

2.负梯度拟合
使用负梯度作为伪残差拟合决策树。

3.损失函数
损失函数（loss function）是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。在应用中，损失函数通常作为学习准则与优化问题相联系，即通过最小化损失函数求解和评估模型。

4.回归
回归分析（regression analysis)是确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。运用十分广泛，回归分析按照涉及的变量的多少，分为一元回归和多元回归分析；按照自变量的多少，可分为简单回归分析和多重回归分析。

5.正则化
正则化(regularization)，是指在线性代数理论中，不适定问题通常是由一组线性代数方程定义的，而且这组方程组通常来源于有着很大的条件数的不适定反问题。大条件数意味着舍入误差或其它误差会严重地影响问题的结果。

优点：
防止过拟合
能处理非线性数据

缺点：
数据维度较高时会加大算法的计算复杂度