机器学习(五)监督学习---Gradient Boosting

 
 
Gradient Boosting 是结合了 传统Boosting 以及 梯度下降 思想。
 

1. Gradient Descent

       对于这一部分可以参考下 机器学习之GD、SGD，写的比较详细。
              

              

2. Gradient Boosting

              

给定一系列的样本点，一共迭代M次，根据损失函数使得最小来求得学习率 ${\rho }_t$。