【摘 要】针对非仿射系统的跟踪控制问题,提出一种基于执行依赖启发式动态规划(ADHDP)结构的在线设计方法。首先,考虑一类未知非仿射系统,进行从跟踪控制问题到误差调节问题的转换;然后,设计基于 ADHDP结构的跟踪控制器,并采用在线学习的方式,实现系统控制与执行网络和评判网络的训练同步,使得系统状态能够跟踪期望轨迹;最后,通过一个仿真实例验证所提方法的有效性。
【关键词】跟踪控制 ; 在线学习 ; 执行依赖设计
1 引言
自适应动态规划(adaptive dynamic programming,ADP)是多个领域交叉形成的一种近似最优设计方法。该方法融合了动态规划(dynamic programming,DP)、强化学习(reinforcement learning, RL)以及神经网络(neural network,NN)的思想。其中,DP 是一种求解决策过程最优化的数学方法,其中的最优性原理为 ADP 提供了理论依据,但 DP存在明显的“维数灾难”问题。后来,人工智能领域兴起了一种 RL 算法,它能够在智能体与环境交互的过程中通过学习策略实现回报最大化。为了解决复杂非线性系统的最优控制问题,美国著名学者韦伯斯(Werbos)结合DP原理以及RL思想,将NN等逼近工具作为实现手段,率先提出了ADP这一概念。ADP在求解非线性系统的哈密顿-雅可比-贝尔曼(Hamilton-Jacobi-Bellman,HJB)方程方面展现了巨大潜力。因此,学者们开始广泛关注ADP,并对其开展了深入的研究