一类非仿射系统的执行依赖启发式在线跟踪控制

 【摘 要】针对非仿射系统的跟踪控制问题，提出一种基于执行依赖启发式动态规划（ADHDP）结构的在线设计方法。首先，考虑一类未知非仿射系统，进行从跟踪控制问题到误差调节问题的转换；然后，设计基于 ADHDP结构的跟踪控制器，并采用在线学习的方式，实现系统控制与执行网络和评判网络的训练同步，使得系统状态能够跟踪期望轨迹；最后，通过一个仿真实例验证所提方法的有效性。

【关键词】跟踪控制 ; 在线学习 ; 执行依赖设计

1 引言

自适应动态规划（adaptive dynamic programming，ADP）是多个领域交叉形成的一种近似最优设计方法。该方法融合了动态规划（dynamic programming，DP）、强化学习（reinforcement learning， RL）以及神经网络（neural network，NN）的思想。其中，DP 是一种求解决策过程最优化的数学方法，其中的最优性原理为 ADP 提供了理论依据，但 DP存在明显的“维数灾难”问题。后来，人工智能领域兴起了一种 RL 算法，它能够在智能体与环境交互的过程中通过学习策略实现回报最大化。为了解决复杂非线性系统的最优控制问题，美国著名学者韦伯斯（Werbos）结合DP原理以及RL思想，将NN等逼近工具作为实现手段，率先提出了ADP这一概念。ADP在求解非线性系统的哈密顿-雅可比-贝尔曼（Hamilton-Jacobi-Bellman，HJB）方程方面展现了巨大潜力。因此，学者们开始广泛关注ADP，并对其开展了深入的研究