1.通过神经网络计算迭代更新来实现更好的最值逼近【19】。
1.1使用长短期记忆回归神经网络(LSTM-RNN)来预测更新 。因为雅可比矩阵结构常常表现出特定的倾向性,在将雅可比矩阵引入网络之前对其作变换, 。通常优化计算算法中使用的是Hessian的近似,这篇文章使用LSTM-RNN网络来实现更强大的函数逼近能力。
(8)
其中, 是网络参数, 是整个LSTM网络的单元更新结构,h是隐藏层。
图1 LSTM-RNN网络架构图
1.2
采用特殊的雅可比矩阵结构,对其进行一定的转变。与经典的高斯牛顿方法一样, 利用近似海森矩阵进行计算。
(9)
图2 雅可比矩阵结构