如何跳出局部最小值

今天看吴恩达的课程时突然想到了这个问题，愣一下之后就只想到了使用多个不同的参数初始化多个不同的神经网络，于是自己又去查看资料，找到了一下三种方法，这里做一个记录。

1、首先就是使用多个不同的参数初始化多个不同的神经网络，训练之后选择误差最小的哪一组参数作为最优参数，这种方法就相当于一群人从山顶上的不同方向下山，到达的位置最低的那个人就是这座山最低的地方。

2、随机梯度下降，我们知道梯度下降能找出局部最小值，而随机梯度下降在与其相比较的时候加入了一个随机的因素，这样即使落入了局部最小值，但是他的梯度可能并不为0。因为使用梯度下降的时候，在落入局部最小值时，计算的梯度是为0的，但是使用随机梯度下降，就保留了落入局部最小值时梯度不为0的可能，这样他就有机会跳出局部最小值了。

3、还有一种叫做模拟退火，这一种方法我不了解，我这里也不做介绍。