1.7优化（optimization）

1.7 优化（optimization）

1.7.1 梯度下降（Gradient Descent）

解决回归算法中一些求拟合线性方程最优解问题，即最小化损失函数J(θ) = ( h(x) - y )^2的问题，有两种求解方法：最小二乘法和梯度下降法。而通过矩阵求解最小二乘公式中：θ = ( XTX)-1XTy→要求X是列满秩的，而且求矩阵的逆比较慢，所以一般采用梯度下降法。

算法目标是最小化J(θ)，找到最优解。首先引入梯度概念：

由公式可见，对点x0的导数反映了函数在点x0的瞬时变化速率，或者叫在点x0处的斜度。推广到多维函数中，就有了梯度的概念，梯度是一个向量组合，反映了多维图形中变化速率最快的方向。