如何理解神经网络优化中Momentem能够缓解hessian矩阵病态的问题

如何理解神经网络优化中Momentem能够缓解hessian矩阵病态的问题？

1、首先介绍一下，矩阵的病态问题

矩阵病态主要是因为矩阵向量之间相关性太大，在二维上说就是矩阵向量之间的夹角太小，导致这两个相似的矩阵向量稍有改变，计算结果就会有很大的不同。

看一个例子更容易理解：

2、接着介绍下hessian矩阵，

hesiian矩阵很好理解，它就是是一个多元函数的二阶偏导数构成的方阵，描述了函数的局部曲率。

在神经网络的优化中，hesiian矩阵病态就表现在局部最小点和鞍点，因为在局部最小点和鞍点处四周的梯度变化率（梯度和二阶导都是相似的）都是相似的，但是往不同的梯度方向前进又会导致优化结果有较大的差异。

3、这样就容易理解了，Momentum有一定的摆脱局部最小点和鞍点的能力，所以也就可以说成能一定程度上缓解hessian矩阵病态的问题，其实这是同一个问题的不同表述。