2020-11-14

论文笔记|RNN Models for Dynamic Matrix Inversion:A Control-Theoretical Perspective（二）

论文：sci-hub.tf/10.1109/tii.2017.2717079

---

摘要：

从控制的角度对已有的求解时变参数矩阵求零问题的递归神经网络(RNN)模型进行了重新审视，并将其统一为控制理论框架。借助控制理论技术对先又RNN模型激活功能的局限性加以修正。本文主要消除了现有RNN模型中关于动态矩阵反演的凸约束和矩阵反演的消除，利用控制技术来设计RNN模型提供了一种系统的方法，使其稳健而准确地求解代数方程。

一、引言

求零的递归神经网络(RNN)解通常设计为一个常微分方程组，从给定的初始状态开始，RNN模型沿着期望的方向发展，递归生成平衡点的估计，直到达到预定的精度。因此，对计算方法的一个基本要求是根据输入状态输出正确的演化方向，使相应的残差随着时间的演化而减小。其中发现寻零问题的解决与系统的调节控制有本质的相似之处:应尽可能及时、准确、稳定地使其对应的残差归零。
以下为从控制角度重新访问解决方程和优化方法：

Ⅰ.比例反馈控制器

1、直观的方法是采取与梯度负成比例的步骤，称为基于梯度或与梯度相关的计算模型

2、牛顿迭代作为一种典型的离散时间求解方程的数值算法可表示为：

从控制的角度来看，GNN模型是一种比例反馈控制器，其反馈增益为h，残差为AX−I，牛顿迭代以及共轭梯度方法也可以同样解释为比例反馈控制器，虽然这些模型的表现形式不同，计算复杂度也不同，但它们在寻找进化方向方面具有相同的错误反馈机制，因此在控制术语中可视为比例反馈控制器。

Ⅱ.比例微分控制器

但显然，仅利用比例反馈的控制器无法对参数时变的对象进行预测控制，从而造成时滞误差。此外，由于类似的原因，这些基于梯度的模型或牛顿迭代相关的数值算法也不能有效地解决参数时变的动态寻零问题。

为了消除滞后误差，提出了一种新型RNN(即zeroing neural network,ZNN)，利用动态参数的时间导数信息，这是解决动态问题的第一个系统工作，这些模型从计算的角度看可能在解决动态问题时自己的结构不同,但可以统一成比例微分控制器控制。

Ⅲ.改进的ZNN模型

基于李雅普诺夫函数设计合适的控制器，使残差收敛，从而解决寻零问题，以类似的方式提出了一种改进的ZNN模型，以适应动态零解问题求解过程中存在的噪声。但其含有不足之处——ZNN现有的激活函数除了不饱和外，还应该是单增奇函数的。考虑到bang-bang控制只利用最大输入动作、负最大输入动作和零输入动作，对于专门为解决动态问题而设计的RNN模型(即ZNN模型)，需要一个饱和激活函数。此外，ZNN模型求解的动态矩阵反演问题(或优化问题)所涉及的矩阵在每个时刻都要求是非奇异的，这可能会排除许多可能的应用。

Ⅳ.基于梯度的自适应系数GNN模型

可能会导致系统崩溃。为了弥补现有解的这些不足，本文提出了一种基于梯度的自适应系数的GNN模型，并以无逆的方式进行描述。

二、主要贡献：

1）这是在已有的ZNN模型计算动态矩阵逆时首次放宽凸约束。相应的RNN模型具有饱和特性，可以加速其有限时间收敛。

2）借助李雅普诺夫函数，首次构建了基于梯度的自适应系数GNN模型，用于计算动态矩阵的逆，导出的模型没有理论误差和矩阵的逆序。

3）本文将RNN模型的建立从优化的角度扩展到控制的角度，并从控制的角度对现有的计算模型进行了修正。

4）本文提出的RNN模型的设计和分析，就其本质而言，提供了一个独特的视角，说明如何利用控制技术来稳健而准确地解决寻零问题。

三、问题的表述和现有的结果

在不失一般性的前提下，本文以动态矩阵反演问题为例，从控制的角度对相应的ZNN模型进行了重新分析。下面的动态矩阵反演问题需要实时解出：

通过定义一个误差函数(t) = A(t)X(t)−I，这样的问题被表述为一个找零问题，并且理论解决方案X∗(t)将其归零。然后利用设计公式使残差t收敛于零：

根据报告的结果，只能使用单调递增的奇激活函数，例如，在构建ZNN模型时，经常使用以下三个激活函数:
1）线性激活函数：

2） power-sigmoid（ps）激活函数：

3）双曲正弦(hs)激活函数：

需要注意的是，线性激活函数是一个解耦的系统，它的第ij个子系统由线性函数激活，可以写成：

这正是一阶动态系统。从任意初始状态开始，从γ>0来看系统是稳定的，扩大线性激活函数有：

上述等价展开式，其残差全局收敛到零。

解决动态问题的最新研究之一是基于积分增强的ZNN设计公式，该公式在线给出了容错噪声，表示为：

类似地推导出相应的ZNN。基于控制理论,它可以很容易地得出结论:从任意初始状态出发，广义的ZNN模型即使在摄动的恒定噪声扰动下，其误差也会全局收敛到零。

到目前为止，我们重新回顾了解决动态问题的研究成果，从控制的角度来看，可以将其视为简单的动态系统。在接下来的部分中，我们设计了新的投影激活函数，并结合了bang-bang控制。