神经网络自适应反馈控制设计

写在前面

自适应神经网络控制器将自适应控制与神经网络相结合，通过神经网络系统辨识的方法达到自适应控制的目的。

控制器针对系统模型参数未知的被控对象，基于系统的状态变量，通过神经网络辨识被控对象的未知参数，并将被控对象的模型信息提供给自适应反馈控制器。相对于传统的PID控制器，自适应神经网络控制器有更强的鲁棒性。

问题描述

考虑一个含有未知函数的非线性系统，其状态方程可表示为
$$\{\begin{array}{rl}\dot{x}& =f(x)+Pu\\ y& =x\end{array}(1)$$
其中$x,y\in {\mathbb{R}}^m$为系统状态变量和输出变量，$u\in {\mathbb{R}}^m$为系统的输入变量，$f(x)$为未知函数，$P\in {\mathbb{R}}^{m\times m}$为未知正定常矩阵。

控制目标是使系统输出变量$y$跟踪参考轨迹$y_d$。

自适应神经网络控制器

神经网络反馈自适应控制器的结构如下图所示¹。

RBF神经网络

首先定义跟踪误差$e$
$$e=y-y_d(2)$$
对(2)求导，得
$$\dot{e}=P\left(P^{-1}(f(x)-{\dot{y}}_d)+u\right)(3)$$
考虑$P^{-1}(f(x)-{\dot{y}}_d)$未知，需要辨识该部分模型。令$Z=[x,{\dot{y}}_d]$，采用RBF神经网络(Radial basis function neural networks)逼近(1)中的未知函数：
$$W^{\ast T}S(Z)+\delta (Z)=P^{-1}(f(x)-{\dot{y}}_d)(4)$$
其中，$S\in {\mathbb{R}}^m$是高斯基函数，$W^{\ast }\in {\mathbb{R}}^{m\times m}$是理想的常数权值($\Vert W{\Vert }_F\le W_m$)，$\delta \in {\mathbb{R}}^m$是逼近误差($\Vert \delta \Vert \le {\delta }_m$)。通常认为存在理想的权值使得逼近误差$\delta$最小。

定义$W^{\ast }$的估计值为$\hat{W}$，权值估计误差$\tilde{W}=\hat{W}-W^{\ast }$。将(4)代入(3)得
$$\dot{e}=P(W^{\ast T}S(Z)+\delta (Z)+u)(5)$$
构造控制器为
$$u=-ke-{\hat{W}}^{T}S(Z)(6)$$
将(6)代入(5)得
$$\dot{e}=P[-ke-{\tilde{W}}^{T}S(Z)+\delta (Z)](7)$$

神经网络训练

为了使权值$\hat{W}$逼近理想权值$W^{\ast }$，需要对$\hat{W}$进行训练。同样为了确保控制系统全局稳定，基于李雅普诺夫稳定性判据计算$\hat{W}$的自适应更新律。

将跟踪误差和权值估计误差作为李雅普诺夫函数的自变量，构建函数如下
$$V=\frac{1}{2}{e}^T{P}^{-1}e+\frac{1}{2}\mathrm{tr}({\tilde{W}}^T{\Gamma }^{-1}\tilde{W})(8)$$
其中$\Gamma$为正定对称矩阵。对(8)求时间导数可得
$$\dot{V}=-k{e}^{T}e-S^T(Z)\tilde{W}e+\mathrm{tr}({\tilde{W}}^T{\Gamma }^{-1}\dot{\tilde{W}})+\delta (Z)e$$
由于$\tilde{W}=\hat{W}-W^{\ast }$，有$\dot{\hat{W}}=\dot{\tilde{W}}$，从而有
$$\dot{V}=-k{e}^{T}e-S^T(Z)\tilde{W}e+\mathrm{tr}({\tilde{W}}^T{\Gamma }^{-1}\dot{\hat{W}})+\delta (Z)e$$
由于
$$S(Z)\tilde{W}e=\mathrm{tr}(e{S}^T(Z)\tilde{W})$$

则
$$\dot{V}=-k{e}^{T}e+\mathrm{tr}(-e{S}^T(Z)\tilde{W}+{\dot{\hat{W}}}^T{\Gamma }^{-1}\tilde{W})+\delta (Z)e(9)$$

自适应律之一

稳定性要求$\dot{V}\le 0$，考虑$-S^T(Z)\tilde{W}e$和$\mathrm{tr}({\tilde{W}}^T{\Gamma }^{-1}\dot{\hat{W}})$相互抵消时，通过选择系数$k$满足$k\ge \frac{{\delta }_m}{\Vert e\Vert }$，使得下式成立：
$$\dot{V}=-k{e}^{T}e+\delta (Z)e\le -k\Vert e{\Vert }^2+{\delta }^{\ast }\Vert e\Vert =-(k-\frac{{\delta }^{\ast }}{\Vert e\Vert })\Vert e{\Vert }^2\le 0.$$
此时神经网络的权值自适应更新律为
$$\dot{\hat{W}}=\Gamma S(Z)e(10)$$
相应$\Vert e\Vert$的收敛半径为${\delta }_m/k$。但该方法不能保证权值$\tilde{W}=\hat{W}-W^{\ast }$的有界性，即无法实现未知上界有界(Unknown Upper Bound, UUB)问题。

自适应律之二

取自适应律²³为
$$\dot{\hat{W}}=\Gamma S(Z)e-k_1\Gamma \hat{W}(11)$$
将(11)代入(9)得
$$\dot{V}=-k{e}^{T}e-k_1\mathrm{tr}({\hat{W}}^T\tilde{W})+\delta (Z)e$$

为了比较真实的矩阵和估计的矩阵值之间的误差，或者说比较真实矩阵和估计矩阵之间的相似性，我们可以采用 Frobenius 范数。根据F范数的性质⁴⁵，有
$$\begin{array}{rl}2\mathrm{tr}({\hat{W}}^T\tilde{W})& =\Vert \hat{W}{\Vert }_F^2+\Vert \tilde{W}{\Vert }_F^2-\Vert W^{\ast }{\Vert }_F^2\ge \Vert \tilde{W}{\Vert }_F^2-W_m^2\\ \mathrm{tr}({\hat{W}}^T\tilde{W})& \ge \Vert \tilde{W}{\Vert }_F^2-\Vert \tilde{W}\Vert \Vert W^{\ast }{\Vert }_F\ge \Vert \tilde{W}{\Vert }_F^2-\Vert \tilde{W}{\Vert }_F{W}_m\end{array}$$
则
$$\begin{array}{rl}\dot{V}& \le -k{e}^{T}e-k_1(\Vert \tilde{W}{\Vert }_F^2-\Vert \tilde{W}{\Vert }_F{W}_m)+\delta (Z)e\\ & \le -\left[\begin{array}{cc}\Vert e\Vert & \Vert \tilde{W}{\Vert }_F\end{array}\right]\left[\begin{array}{cc}k& 0\\ 0& k_1\end{array}\right]\left[\begin{array}{c}\Vert e\Vert \\ \Vert \tilde{W}{\Vert }_F\end{array}\right]+\left[\begin{array}{cc}{\delta }_m& k_1{W}_m\end{array}\right]\left[\begin{array}{c}\Vert e\Vert \\ \Vert \tilde{W}{\Vert }_F\end{array}\right]\end{array}(12)$$
令$z={\left[\begin{array}{cc}\Vert e\Vert & \Vert \tilde{W}{\Vert }_F\end{array}\right]}^T$。则(12)可以表示为
$$\dot{V}\le -z^{T}Qz+hz\le -\underline{\lambda }(Q)\Vert z{\Vert }^2+\Vert h\Vert \Vert z\Vert (13)$$
令
$$\{\begin{array}{rl}\underline{R}& =\min (\underline{\lambda }(P^{-1}),\underline{\lambda }({\Gamma }^{-1}))\\ \overline{R}& =\max (\overline{\lambda }(P^{-1}),\overline{\lambda }({\Gamma }^{-1}))\end{array}$$
则
$$\frac{1}{2}\underline{R}\Vert z{\Vert }^2\le V\le \frac{1}{2}\bar{R}\Vert z{\Vert }^2(14)$$
结合(13)、(14)得到
$$\dot{V}\le -\alpha V+\beta \sqrt{V}(15)$$
其中
$$\alpha =\frac{2\underline{\lambda }(Q)}{\overline{R}},\beta =\frac{\sqrt{2\Vert h\Vert }}{\sqrt{\underline{R}}}$$
对(15)积分可得
$$\sqrt{V(t)}\le \sqrt{V(0)}{e}^{-\frac{\alpha }{2}t}+\frac{\beta }{\alpha }(1-e^{-\frac{\alpha }{2}t})$$
可保证$\Vert e\Vert ,\Vert \tilde{W}{\Vert }_F$均最终一致有界⁶，且
$$\underset{t\to \infty }{\lim }\Vert e\Vert \le \frac{\Vert h\Vert \overline{R}}{\underline{\lambda }(Q)\sqrt{\underline{R}\underline{\lambda }(P^{-1})}}$$

相比传统的PID控制器， 自适应控制器能修正自己的特性以适应对象和扰动的动态特性的变化 ， 因此对模型复杂多变被控对象，自适应神经网络控制算法具有更高的可靠性。

---

1. 神经网络控制-杨辰光 - HuangTL的文章 - 知乎 https://zhuanlan.zhihu.com/p/346601192 ↩︎

2. 刘金琨. 机器人控制系统的设计与MATLAB仿真. 北京：清华大学出版社，2008. ↩︎

3. Z. Peng, D. Wang, H. Zhang, and G. Sun, “Distributed neural network control for adaptive synchronization of uncertain dynamical multiagent systems,” IEEE Trans. Neural Networks Learn. Syst., vol. 25, no. 8, pp. 1508–1519, 2014. ↩︎

4. M. Chen, S. S. Ge, and B. V. E. How, “Robust adaptive neural network control for a class of uncertain MIMO nonlinear systems with input nonlinearities,” IEEE Trans. Neural Networks, vol. 21, no. 5, pp. 796–812, May 2010. ↩︎

5. StackExchange. Relation between Frobenius norm and trace. https://math.stackexchange.com/questions/1898839/relation-between-frobenius-norm-and-trace ↩︎

6. H. Khalil, Nonlinear Systems, 3rd ed. Englewood Cliffs, NJ, USA: Prentice-Hall, 2002 ↩︎