什么是神经网络或者微粒群算法所说的陷入 局部极小值？局部极小值是什么？

就是误差曲面局部凹陷点。学过函数曲线的极小值和最小值的概念吧，局部最佳和全局最佳是类似的关系。

一般训练陷入停滞主要是两方面的原因：

1. 陷入误差曲面凹陷点。

2. 神经网络的激活函数是S函数，这个函数的两端是平坦的，算法在这里面走的很慢。

事实上只要是随机搜索的算法，都会出现这种情况，只是可能性的大小不同罢了。可以使用全局寻优能力强的先行搜索，再用局部搜索能力强的算法继续搜索。