DL为什么不用二阶导优化

1. 最大的问题就是计算复杂度。二阶一次迭代更新的复杂度是n*n，这在高维的时候是不可行的
2. 稳定性。越简单的东西往往越robust，对于优化算法也是这样。
3. 二阶求导不易
4. 二阶方法能够更快地求得更高精度的解，但是在神经网络这类深层模型中，不高的精度对模型还有益处，能够提高模型的泛化能力。