2020-11-29

论文笔记|RNN Models for Dynamic Matrix Inversion:A Control-Theoretical Perspective（三）

论文：sci-hub.tf/10.1109/tii.2017.2717079

---

接上篇论文后半部分

Ⅲ.非凸投影激活ZNN

按照此定义，0∈Γ，这里PΓ(U)的投影是设置为UΓ集，将上文的公式举例子有：

我们同样有：

为了研究所提出的ZNN模型的收敛性能，我们有以下定理：
定理1:ZNN模型全局收敛于动态矩阵反演问题的理论解。（证明略）

定理1表明,投影PΓ(·)包含了现有的激活函数为加速ZNN特殊的情况。此外，与那些现有结果不同的是，我们有以下特殊集来构造新的激活函数以满足额外的需求。
1）饱和束缚状态：
2）球饱和状态：

3）饱和非凸状态：

利用提出的硬限制激活函数，用于加速RNN模型在有限时间内收敛，以解决约束静态优化问题，可以看作是新激活函数在非凸情况下的退化情况。对于c1→0，新的激活函数可以改写为：

则设计公式可简化为：

注意，bang-bang行为控制在工业领域经常面对的三种类型的输入：最大输入c2, c3 -最大输入,和零输入0。因此,硬限制激活函数可以被视为一个广泛应用在继电器式控制策略控制的应用程序。此外,零输入行动可以扩展成(−c1, c1)防止振荡现象,导致在新的激活Γ函数的定义与非凸的情况。

Ⅳ.具有自适应系数的GNN

如前所述，ZNN是求解参数时变动态矩阵反演问题的一种有效方法。但是，由于奇异性的存在，使得问题无法在理论上得到解决，因此ZNN方法无法解决相应的问题。
如前上篇所述：基于梯度的RNN (GNN)模型可以归为比例反馈控制器类型，它不能预测和准确地解决参数时变的动态问题，它可以表示为：
然而，基于梯度的方法在处理复杂问题方面有很多优点，因此成为一种广泛使用的方法。例如，这样的模型显然避免使用矩阵逆运算自然。因此,采取传统的优点GNN模型,给出一个新的GNN模型自适应系数：

研究所提方法的收敛性能具有自适应的GNN模型系数，我们有以下定理：
定理2：具有自适应系数的GNN模型全局收敛于动态矩阵反演问题的理论解。（证明略）

另外，对于非线性激活函数辅助GNN模型有自适应系数，我们有定理：
定理3：如果采用ps(或hs)激活函数，与定理2中给出的线性激活函数相比，具有自适应系数的GNN模型具有更好的收敛性。，

1. 当|∈ij| ≥ 1, φps降解为幂函数，其被表示为φ(∈ij (t)) =∈ij³ (t)，回顾V2 (t)的定义在定理2中，
   
   2）当|∈ij| ≥ 1时，φps退化为双级sigmoid函数，回顾V2 (t)的定义在定理2中有，
   
   上述分析的两种情况说明，使用S型激活函数，就能有更好的收敛性能（与Φli的收敛速度相比），然后,我们讨论Φhs，运用泰勒展开Φhs有：
   
   对于任意|∈ij (t)|≠0，以下不等式成立：

这意味着,与Φps或Φli获得的收敛性相比，使用hs模型可以使GNN模型有更好的收敛表现。

值得从控制的角度解释提出的带自适应系数的GNN模型。一方面，A(t)X(t)−I此式用于反馈当前解决方案的错误信息，以获得一个鲁棒的解决方案，它可以被视为计算X(t)和理论解决方案X∗(t)之间的距离的度量;另一方面,缩放参数κ(t)与相关自适应 A˙(t) X (t),从而利用动态参数的时间导数(t)在实时的解决方案的过程。因此，从控制的角度来看，GNN模型能够以预测的方式适应系数的变化，利用误差反馈信息，从而能够准确、鲁棒地解决动态问题。

限制X˙(t)的饱和函数可以使用：

总结

本文从控制的角度重新审视了现有的RNN模型，用于参数随时间变化的寻零(如矩阵逆)。然后，我们提出了新的ZNN模型，弥补了激活功能的局限性。此外,从控制的角度来看,设计了一种基于梯度的RNN来解决动态矩阵反演问题，使其不受误差和矩阵反演的影响。
所提出的模型相对于其他现有方法的优势可以从两个层面来解释:表层和深层。在不深入细节的情况下
表面层主要体现在两个方面:激活函数的凸约束的消除和矩阵逆的消除。在深层，本文所提出的RNN模型的设计和分析，由于其本身的性质，进一步为开发控制技术，稳健、准确地求解具有时变参数的代数方程提供了一个独特的视角。通过离散所提出的连续RNN模型，利用不同的数值微分公式和控制技术，可以产生各种数值算法，以分析其收敛性、稳定性和鲁棒性。这些RNN模型可以为相关应用，如机器人控制和路径规划的性能提升打开一扇门，具有较强的抗噪声能力和计算精度