对于 Gradient、Boosting、GBDT 的理解

Gradient 表示 梯度，比如著名的梯度下降算法，就叫做 Gradient Descent 。梯度的意思是什么呢？为什么叫 梯度下降。“到目前为止，我们的确没有用到求导的 Gradient”¹，由此可见，Gradient 通常和求导联系在一起，而求导的目的，是寻找到下降最快的方向。所以梯度的意思，是指收敛速度最快的方向。

Boosting，维基百科的解释是：“is a machine learning ensemble meta-algorithm for primarily reducing bias, and also variance in supervised learning, and a family of machine learning algorithms that convert weak learners to strong ones”²。是一种机器学习融合算法，用于在监督学习中降低偏差和方差。中文翻译有如下几种：助推、推进³、迭代¹等，可能还有其他翻译，但都表示一个意思，那就是通过融合多个弱学习器形成一个强学习器的过程。

所以 Gradient Boosting 的意思，表示沿着收敛速度最快的方向，融合多个弱学习器，形成一个强学习器。DT 表示 Decision Tree，决策树。所以 GBDT 连起来的意思就是，沿着收敛速度最快的方向，融合多个决策树，后一个决策树优化的方向，正是上一个决策树的梯度方向，逐渐层级，形成一个强学习器的算法。

---

1. https://blog.csdn.net/liangjiu2009/article/details/96153599 ↩︎ ↩︎

2. https://en.wikipedia.org/wiki/Boosting_(machine_learning) ↩︎

3. http://www.youdao.com/w/boosting ↩︎