自问自答1——为什么深度学习不采用牛顿法及其衍生算法作为优化算法？

原因一：牛顿法需要用到梯度和Hessian矩阵，这两个都难以求解。因为很难写出深度神经网络拟合函数的表达式，遑论直接得到其梯度表达式，更不要说得到基于梯度的Hessian矩阵了。
原因二：即使可以得到梯度和Hessian矩阵，当输入向量的维度$N$较大时，Hessian矩阵的大小是$N\times N$，所需要的内存非常大。
原因三：在高维非凸优化问题中，鞍点相对于局部最小值的数量非常多，而且鞍点处的损失值相对于局部最小值处也比较大。而二阶优化算法是寻找梯度为0的点，所以很容易陷入鞍点。