[机器学习必知必会]全局最小与局部极小

梯度法

众所周知，基于梯度的搜索是使用最为广泛的参数寻优方法。

在此类方法中，我们从某些初始解出发，迭代寻找最优参数值。每次迭代中，我们先计算误差函数在当前点的梯度，然后根据梯度确定搜索方向。例如由于负梯度方向是函数值下降最快的方向，因此梯度下降法就是沿着负梯度方向搜索最优解。若误差函数在当前点的梯度为零，则已达到局部最小，更新量为零，参数的迭代更新停止。

缺陷：当误差函数具有多个局部最小，则不能保证找到的解就是全局最小。

“跳出”局部极小，接近全局最小

1、以多组不同参数值初始化多个模型，这相当于从多个不同的初始点开始搜索，这样可能陷入不同的局部极小，从中进行选择有可能获得更接近全局最小的结果。

2、simulated annealing。模拟退火在每一步都以一定概率接受比当前解更差的结果，从而有助于跳出局部极小。在每步的迭代过程中，接受“次优解”的概率要随着时间的推移而逐步降低，从而保证算法稳定。

3、使用随机梯度下降。与标准梯度下降法精确计算梯度不同，随机梯度下降法在计算梯度时加入了随机因素。于是，即使陷入局部极小点，它计算出的梯度仍可能不为零，这样就有机会跳出局部极小继续搜索。