Online Optimal Control of Affine Nonlinear DT Systems With Unknown Internal Dynamics by Using Time-B_online optimal control of affine nonlinear discret-CSDN博客

本文链接：https://blog.csdn.net/DarlingLSA/article/details/136787733

Online Optimal Control of Affine Nonlinear Discrete-Time Systems With Unknown Internal Dynamics by Using Time-Based Policy Update ，2012，Travis Dierks, Member, IEEE, and Sarangapani Jagannathan, Senior Member, IEEE

对仿射非线性离散时间系统，不使用策略迭代和值迭代方法，使用神经网络时间上向前求解HJB方程得到最优控制。
未知内部动力学和已知的控制协矩阵（仅需要输入增益），近似代价函数即评价网络，产生控制输入和策略更新即动作网络。在采样时刻对代价函数额和控制策略一次更新，称为time-based ADP。李雅普诺夫理论证明所有信号是一致最终有界，近似控制策略逼近最优控制策略以很小的有界误差，神经网络权重估计值接近目标值，此时代价函数和控制策略随时间更新。
作者以往文献提出使用单个网络近似评价和动作，未使用迭代算法，考虑网络近似误差，但仍需要系统完全动力学。K. G. Vamvoudakis and F. L. Lewis, “Online actor–critic algorithm to solve the continuous-time infinite horizon optimal control problem,”中未使用使用系统性能的时间历史。闭环系统是在固定的常数下有界，而本文提出的有界是动态时变的。
初始可稳定控制策略，评价网络在线学习HJB方程，动作网络基于评价网络的信息使得代价函数最小化。网络的权重更新使用过去性能指标的历史信息，其存储在辅助cost-to-go向量中。

在这里插入图片描述
由于最优控制需要未来时刻状态向量，不可直接求解。而在以往文献的值和策略迭代不适合实时控制，因为近似代价函数和控制输入是未知的。
稳定性需要满足，以候选正定李雅普诺夫函数 $V_D$ ，使其小于0，因此需要满足系统 $f(x_k)+g(x_k)u^{*}(x_k)||^2-||x_k||^2$ ，有 $k^{*}<1$ 成立
在这里插入图片描述

定义CTG误差或残差，再定义辅助CTG误差向量，给出其误差动力学，类似于一个非线性离散时间系统，以神经网络结构。
Lemma1给出在可容许控制策略下系统渐进稳定，激活函数线性独立，以及其差值也是线性独立的。
定义代价函数神经网络权重
在这里插入图片描述
一旦系统状态为0，代价函数不再更新，因此需要PE条件（输入持续激励），使得系统状态存在较长时间，学习神经网络。定义神经网络误差，给出在固定控制策略下代价函数网络近似误差的有界性，和评价网络近似误差
Definition2给出一致最终有界，Theorem1给出在固定可容许控制策略和代价函数网络权重更新下，存在一个常数使得评价网络权重近似误差是一致最终有界(UUB)
定义控制网络误差以及权重更新，构建动作网络权重误差动力学，即需要输入控制矩阵 $g (x)$
在这里插入图片描述
动作网络权重更新在最优控制策略应用到系统的下一时刻(k+1)进行。
初始状态位于紧集上，可稳定的控制输入下，由充分条件确保未来状态不离开紧集，代价函数及梯度和动作网络函数都是有界的。
Theorem2给出在可容许控制策略、PE条件和对应网络权重更新和正常数条件下，系统状态代价函数网络和动作网络权重近似误差都是一致最终有界的
在这里插入图片描述