daisy的博客

转载 鞍点

长期以来，人们普遍认为，神经网络优化问题困难是因为较大的神经网络中包含很多局部极小值（local minima），使得算法容易陷入到其中某些点。到2014年，一篇论文《Identifying and attacking the saddle point problem in high-dimensional non-convex optimization》，提出高维非凸优化问题之所以困难，是因为存...