神经网络中跳出局部极小值，逼近全局最小值的策略

１．以多组不同参数值初始化多个神经 网络 按标准方法训练后，取其误差最小的解作为 终参 .这相 当于从多个不同的初始点开始搜索， 这样就可能陷入不同的局部极小从中进行选择有可能获得更接近全局最小的结果。
２．使用 "模拟退火" (simulated annealing) 技术 [Aarts and Korst, 1989]. 模拟退火在每一步都 以二定的概率接受 比当前解更差的结果，从而有助于"跳出"局部极小。在每步d迭代过程中，接受"次优解"的概率要随着时间的推移而逐渐降低，从而保证算法稳定
３．用随机梯度下 。与标准梯度下降法精确计算梯度不同， 随机梯度下降法在计算梯度时加入了随机因素.于是，即便陷入局部极小点?，它计算出仍可能不为零，这样就有机会跳出局部极小继续搜索。

４．遗传算法也常用来训练神经网络以更好地逼近全局最小。