机器学习-模型优化

1. 优化模型的两种策略：

   1.1 基于残差的方法

   　　残差其实就是真实值和预测值之间的差值，在学习的过程中，首先学习一颗回归树，然后将“真实值-预测值”得到残差，再把残差作为一个学习目标，学习下一棵回归树，依次类推，直到残差小于某个接近0的阀值或回归树数目达到某一阀值。其核心思想是每轮通过拟合残差来降低损失函数。

   　　总的来说，第一棵树是正常的，之后所有的树的决策全是由残差来决定。

   1.2 使用梯度下降算法减小损失函数。

   　　对于一般损失函数，为了使其取得最小值，通过梯度下降算法，每次朝着损失函数的负梯度方向逐步移动，最终使得损失函数极小的方法（此方法要求损失函数可导）。

损失函数的详细资料：http://www.csuldw.com/2016/03/26/2016-03-26-loss-function/