Machine Learning: Gradient decent (机器学习3：使用梯度下降和退火算法得到全局最小值)

 

机器学习笔记三

 

详细阐述使用Gradient descent梯度下降的方法，求得评价模型好坏的函数L(θ)的全局最小值。

基本步骤为：首先从一个初始点θ0 开始，计算在该点下的偏导数，然后向偏导数为负的方向移动，一直重复这个步骤，直到偏导数为零的点。

 

但是这里有对于每次移动的距离，我们需要精心的设定。因为如果每次移动的距离过大，可能会导致梯度下降跳过了最小值的点，如果每次移动的距离无限小，可能会导致计算的时间过长、消耗资源过多的问题。

在公式中，移动的距离使用偏导数乘以学习率η来表达的，针对设定不同的学习率η，我们做一个可视化一个图表：

 

其中蓝色、红色和绿色的曲线是缓慢下降的，这表明学习率的选取是比较合适的，但是黄色的曲线是随时间先下降后上升的，这表明学习率，或者说移动的距离太大，导致错过了最小值的点。

 

那么如何确定每一次移动的距离呢，我们可以通过平时的生活常识得到这样一个定量的道理：当距离目标很远的时候