Q-learning for optimal tracking control of linear discrete-time systems with unknown dynamics

已于 2024-04-20 19:41:29 修改
阅读量942 收藏 30
点赞数 8
文章标签： 笔记 学习
于 2024-03-17 11:47:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/DarlingLSA/article/details/136779466
版权

Reinforcement Q -learning for optimal tracking control of linear discrete-time systems with unknown dynamics✩，2014， Bahare Kiumarsi ，Frank L. Lewis , Hamidreza Modares ，Ali Karimpour ，Mohammad-Bagher Naghibi-Sistani

对未知离散时间系统，提出新的基于Qlearning算法求解无限时域线性二次跟踪器LQT问题。线性指令生成器以产生参考轨迹，由指令生成器和原系统组成增广系统。值函数是增广系统（状态和参考轨迹）的二次型函数。给出求解LQT的贝尔曼方程和增广的代数Riccati方程。而本文只需要求解增广的ARE方程。Qlearning算法以在线求解增广ARE（未知系统动力学或指令生成器、不需要增广系统动力学），
传统的LQT求解有前馈输入（求解非因果差分方程）和反馈输入（求解ARE）。
在以往文章中采用动力学可逆概念以求得前馈控制输入，RL以求解最优反馈控制输入。但动力学可逆需要控制输入是可逆的，且具有完全的系统动力学知识。
LQT的标准解需要同时求解ARE和非因果差分方程，且求解非因果辅助变量需要时间上向后计算。只能用于由渐进稳定的指令生成器生成参考轨迹；
Assumption1给出LQT的参考轨迹由指令生成器，给出增广系统和其性能指标或值函数。
Lemma1给出值函数的二次型形式，将稳定控制策略代入值函数得到二次型形式，P为核矩阵。
Theorem1给出求解LQT的因果解的ARE。选择更小的折扣因子和更大的权重Q使得跟踪误差更小。augmented LQT ARE与standard LQT ARE 多折扣因子
在这里插入图片描述

Theorem2给出LQT的ARE解的最优性和稳定性，定义与折扣因子有关的误差，在渐近稳定误差下求解LQT ARE的最优控制。且表明系统的跟踪误差是有界的。选择更小折扣因子或更大Q使得跟踪误差越小。

RL方法根据系统轨迹测量的数据在线递归迭代更新值函数和控制策略
Algorithm1给出离线PI算法求解LQT，初始稳定控制策略
在这里插入图片描述
该算法离线，需要完整的动力学知识，因此采用贝尔曼方程（而不是李雅普诺夫方程）在线评估控制策略，即Algorithm2，仍需要初始稳定控制策略。
在这里插入图片描述
尽管不需系统动力学知识求解贝尔曼方程，但仍需要系统动力学知识更新控制策略(53)。
基于Qfunction，Algorithm3给出Qfunction贝尔曼方程，使用LQT的Qfunction提出PI算法
在这里插入图片描述
学习和矩阵H，以不需要系统动力学。最小二乘LS实现策略评估。

如果系统状态不是在期望轨迹或位置上，则需要PE条件。
展望：仅通过测量输入数据和参考轨迹数据求解该方法下的LQT问题；考虑VI值迭代下的实现（不需要初始可容许控制策略）

matlab仿真（Frank L.Lewis）

代码私聊

LucienLSA
关注
  • 8
    点赞
  • 踩
  • 30
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
最优控制器matlab仿真,第一章 讲稿 matlab最优控制仿真.pdf
weixin_36211428的博客
03-16 999
最优控制仿真－matlab函数1、[X,L,G,rr]=care(A,B,Q,R,S,E)——解连续系统的代数Riccati方程X：Riccati方程的解L ：闭环状态方程的特征值G: 最优反馈增益阵rr：残留矩阵的Frobenius范数2、[K,S,e]=lqr(A,B,Q,R,N)——连续系统线性二次型状态调节器K：最优反馈增益阵S：Riccati方程的解e：闭环系统特征值最优控制仿真－ma...
【论文阅读笔记】NeurIPS2020文章列表Part2
zincrain的博客
12-09 5855
Online Multitask Learning with Long-Term Memory Fewer is More: A Deep Graph Metric Learning Perspective Using Fewer Proxies Adaptive Graph Convolutional Recurrent Network for Traffic Forecasting On Reward-Free Reinforcement Learning with Linear Function A.
最优控制大作业（强化学习）
07-12
标题：强化学习与最优控制的大作业资源描述 简介： 本资源描述提供关于强化学习与最优控制的大作业的概述和基本要求，并提供相关资源和指导，旨在帮助学生深入理解和应用强化学习与最优控制的方法和技术。资源中包含大作业的主题、目标、背景知识要求、实施步骤和评估指标，以及参考资料和工具的推荐。 内容： 大作业主题和目标 确定强化学习与最优控制的应用领域（例如机器人控制、自动驾驶、资源分配等） 说明大作业的目标，如设计一个最优控制器、解决某个优化问题等 背景知识要求 强化学习基本概念和算法（如Q-learning、策略梯度等） 最优控制理论基础（如LQR、LQG等） 编程和仿真工具的基本使用（如Python、MATLAB、Simulink等） 大作业实施步骤 系统建模和问题定义 选择适当的强化学习算法和最优控制方法 实现算法和方法，并进行仿真实验 分析和评估实验结果 评估指标 性能指标：例如控制器的稳定性、收敛速度、系统响应等 实现复杂度：例如算法复杂度、计算资源消耗等 结果分析和解释：例如实验结果的可解释性和合理性 参考资料和工具推荐 强化学习和最优控制相关教材、论文和在线资源 编
Q-learning for optimal tracking control
04-20
Q-learning for optimal tracking control
《强化学习与最优控制》学习笔记（五)： 值空间近似的一般问题与方法
qq_42286607的博客
03-25 761
这章我们将比较详细地介绍值空间近似的一些方法,对应书中的2.1.1节和2.1.3-2.1.6节的内容。 ...
Model-Free Q-Learning for the Tracking Problem of Linear Discrete-Time Systems
DarlingLSA的博客
03-28 243
Model-Free Q-Learning for the Tracking Problem of Linear Discrete-Time Systems，2024， Chun Li , Jinliang Ding , Senior Member, IEEE, Frank L. Lewis , Life Fellow, IEEE, and Tianyou Chai , Life Fellow, IEEE
Optimal Full-Order and Reduced-Order Estimators for Discrete-Time Systems With Multiple Packet Dropouts
02-06
This paper is concerned with the estimation problem for discrete-time stochastic linear systems with multiple packet dropouts. Based on a recently developed model for multiple-packet dropouts...
Approximation-error-ADP-based optimal tracking control for chaotic systems with convergence proof
02-10
Approximation-error-ADP-based optimal tracking control for chaotic systems with convergence proof
A new self-learning optimal control laws for a class of discrete-time nonlinear systems based on ESN architecture
02-10
A new self-learning optimal control laws for a class of discrete-time nonlinear systems based on ESN architecture
Finite-time robust optimal passive control for a class of uncertain nonlinear systems
02-09
Finite-time robust optimal passive control for a class of uncertain nonlinear systems
线性离散时间系统的H∞跟踪控制：基于无模型Q学习的设计（Matlab代码实现）
weixin_67304359的博客
02-20 1006
线性离散时间系统的H∞跟踪控制是一种重要的控制策略，旨在确保系统能够在面对外部扰动和不确定性时实现稳定的轨迹跟踪。通过结合强化学习的思想和H∞控制理论，该方法能够在不依赖系统模型的情况下，实现对系统的精准跟踪控制。线性离散时间系统的H∞跟踪控制是控制工程中的一个重要课题，通过设计控制器使系统在追踪给定轨迹的同时满足H∞性能指标。在这样的研究中，通常会通过Q学习算法来学习系统的最优控制策略，使系统能够在不确定性环境下实现稳定的控制。通过对系统状态和行为的不断学习和优化，最终实现系统的H∞跟踪控制。
基于视觉的机器人抓取: 论文及代码(Vision-based Robotic Grasping: Papers and Codes)
热门推荐
dsoftware的博客
10-22 2万+
最近总结了基于视觉的机器人抓取的相关论文及代码，同步于github。根据抓取的类别，基于视觉的机器人抓取可以分为两类：2D平面抓取以及6D空间抓取。这个页面总结了近年来涉及到的各种各样的方法，其中大部分都使用了深度学习。总结的中文框架结构如下： 0.综述论文 1. 2D平面抓取 这类方法将抓取，用平面内旋转的矩形框表示； 1.1基于RGB或者RGB-D的方法 采用基于目标检测类的方法，直接得到2D...
【Matlab】建立最优控制LQR控制器模型
咸鱼漫谈的博客
03-14 5857
前言 之前做了有关于系统辨识以及配置极点来控制系统响应的相关内容，那些相当于是打开了一个新世界的大门，在此基础上，一直想学习一下最优控制的相关内容，并应用在项目上，因此，学习了相当长的时间，然后搭建模型，不过越来越感到，我学习到的也只是控制世界的冰山一角，话不多说，开始记录搭建模型的步骤。 传递函数转化到状态空间 首先，我可以辨识出系统的传递函数，需要转化成状态方程，这里我稍微记录了一下由传递函数转换到状态空间的步骤： 以上是随便举了一组数据手算的，之后使用Matlab验证，Matlab是有
2021-03-19 数字信号处理——时域离散信号和时域离散系统
tracy_cumt的博客
03-19 786
数字信号处理——时域离散信号和时域离散系统一、时域离散信号1.常用典型序列2.运算二、时域离散系统1.线性时不变系统2.因果稳定系统三、线性常系数差分方程四、模拟信号数字处理方法 一、时域离散信号 1.常用典型序列 单位脉冲序列 单位阶跃序列 矩形序列 实指数序列 正弦序列 复指数序列 周期序列 x(n)=x(n+N)x(n)=x(n+N)x(n)=x(n+N) 2.运算 加法 乘法 位移 翻转 尺度变换 二、时域离散系统 1.线性时不变系统 y(n)=T[x(n)]y(n)=T[x(n)]y(n)=T[x
Linux学习笔记（二）
weixin_42515203的博客
05-28 332
Linux的学习笔记
Vue3实战笔记（52）—Vue 3封装持仓分析饼图
最新发布
山花的博客
05-30 486
接上文，封装持仓分析饼图。封装好几个组件，用于后续开发。把忧愁煮成茶，让它在心间慢慢沉淀，剩下的，便是清甜的回味。
强化学习——学习笔记
qq_52302919的博客
05-27 1325
强化学习问题通常可以建模为一个马尔可夫决策过程，包括以下几个要素：1、状态集合 (State Set)：S；2、动作集合 (Action Set)：A；Ps′∣saPs′∣sa，描述在状态s下执行动作a后转移到状态s′s^′s′的概率；Rsas′Rsas′，描述在状态s 下执行动作a并转移到状态s′后获得的奖励。πa∣sπ (a∣s)πa∣s，描述智能体在状态s下选择动作a 的概率。
Q-learning python
08-29
Q-learning is a popular reinforcement learning algorithm used to solve Markov Decision Processes (MDPs). In Python, you can implement Q-learning using various libraries such as NumPy and TensorFlow. Here's a basic implementation of Q-learning in Python: ```python import numpy as np # Define the Q-learning function def q_learning(env, num_episodes, learning_rate, discount_factor, epsilon): # Initialize the Q-table num_states = env.observation_space.n num_actions = env.action_space.n Q = np.zeros((num_states, num_actions)) # Q-learning loop for episode in range(num_episodes): state = env.reset() done = False while not done: # Choose an action using epsilon-greedy policy if np.random.uniform() < epsilon: action = env.action_space.sample() else: action = np.argmax(Q[state]) # Perform the action and observe the next state and reward next_state, reward, done, _ = env.step(action) # Update the Q-table Q[state, action] += learning_rate * (reward + discount_factor * np.max(Q[next_state]) - Q[state, action]) state = next_state return Q # Example usage env = gym.make('your_environment') # Replace 'your_environment' with the name of your environment num_episodes = 1000 learning_rate = 0.1 discount_factor = 0.9 epsilon = 0.1 Q_table = q_learning(env, num_episodes, learning_rate, discount_factor, epsilon) ``` In this example, `env` represents the environment you want to train your agent on (e.g., a grid world). `num_episodes` is the number of episodes the agent will play to learn the optimal policy. `learning_rate` controls the weight given to the new information compared to the old information, while `discount_factor` determines the importance of future rewards. `epsilon` is the exploration rate that balances exploration and exploitation. Note that you need to install the required libraries (e.g., NumPy and gym) before running the code.

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值