DL-MPC （deep learning model predictive control）python 实现

已于 2024-10-29 19:21:12 修改
阅读量887 收藏 11
点赞数 4
分类专栏： python 深度学习模型预测控制 文章标签： 深度学习 人工智能
于 2024-10-27 11:45:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42210908/article/details/143266253
版权

DL-MPC（Deep Learning Model Predictive Control）是一种结合深度学习和模型预测控制的先进控制策略。其核心思想是利用深度学习模型来预测系统的未来行为，并通过模型预测控制来优化控制输入，从而实现对复杂系统的高效控制。

github 项目地址：

深度学习模型预测控制icon-default.png?t=O83Ahttps://github.com/WangXiaoMingo/TensorDL-MPC​​​​​​​​​​​​​​    （如果认为有用，动动小手为我点亮github小星星哦），持续更新中……

参考链接：WangXiaoMingo/TensorDL-MPC：DL-MPC（深度学习模型预测控制）是基于 Python 和 TensorFlow 框架开发的软件工具包，旨在通过深度学习技术增强传统模型预测控制 （MPC） 的性能。该工具包提供模型训练、仿真、参数优化等核心功能。 (github.com)

在TensorFlow中实现DL-MPC的具体步骤如下：

  1. 定义预测模型：

    • 使用深度学习框架（如TensorFlow或PyTorch）定义一个神经网络模型，该模型用于预测系统的未来状态。这通常包括输入当前状态和控制输入，输出未来状态的预测。
    • 在TensorFlow中，可以使用tf.keras 模块来定义和构建神经网络模型。

  2. 实现MPC算法：

    • 实现模型预测控制（MPC）算法，包括预测模型、滚动优化和控制律更新。
    • 预测模型：使用定义的神经网络模型进行状态预测。
    • 滚动优化：在每个时间步，使用预测模型进行多步预测，并通过优化目标函数来计算最优控制输入。
    • 控制律更新：根据优化结果更新控制律，以实现对系统的控制。

  3. 训练神经网络模型：

    • 使用历史数据训练神经网络模型，使其能够准确预测系统的未来状态。
    • 在TensorFlow中，可以使用tf.keras 的fit方法进行训练。

  4. 集成到控制系统：

    • 将训练好的神经网络模型和MPC算法集成到控制系统中。
    • 在每个时间步，使用当前状态和控制输入，通过神经网络模型进行状态预测，并通过MPC算法计算最优控制输入。
    • 更新系统状态并重复上述过程。

代码：


''' test bp-mpc'''
import pandas as pd



if __name__ == '__main__':
    import numpy as np
    import matplotlib.pyplot as plt
    from tensorflow.keras.models import load_model
    import tensorflow as tf
    from src.dlmpc import SimSISO
    from src.dlmpc import MPCController
    from src.dlmpc import calculate_performance_metrics
    from src.dlmpc import optimizer
    from src.dlmpc import OnlineOptimize
    import time
    import os
    import matplotlib as mpl
    mpl.use('TkAgg')
    os.environ['CUDA_VISIBLE_DEVICES'] = '-1'
    plt.tick_params(labelsize=12)

    # TODO: Step1: parameters Settings
    #  NN parametes Settings
    # 窗口大小
    input_window_dy = 2
    input_window_du = 2
    ly = input_window_dy  # y的历史状态的长度
    lu = input_window_du-1  # u的历史输入的长度
    dim = ly+lu

    # MPC parameters Settings
    # Train_NN = True
    Train_NN = False
    mpc = True
    predict_horizon = 4 #10  # 预测时域  (2,1), (4,2 *),(3,3)
    control_horizon = 2 #5   # control_horizon
    dim_u = 1             # control variable dimension = 1
    du_bounds = 10       # control variable constraints (delta u)
    u_bounds = [-5,5]          # control variable constraints (u)
    opt = optimizer(optimizer_name='sgd', learning_rate=0.1, du_bound=None, exponential_decay=False)
    error = 0

    # 定义权重矩阵
    Q = np.eye(predict_horizon) * 0.1   # 跟踪误差的权重矩阵  # 0.1
    R = np.eye(control_horizon) * 0.01  # 控制输入的权重矩阵 # 0.01

    N = 150  # 运行周期
    y_ref = 10  # 参考轨迹值
    # 初始化系统状态
    '''
    initial_state = np.array([1, 1.2])    # 初始状态可以自定义，y[0]，y[1]
    initial_input = np.array([0.1, 0.2])  # 初始状态可以自定义，u[0],u[1]
    '''
    state_y = tf.constant([[1], [1.2]], dtype=tf.float32)
    state_u = tf.constant([[0.1]], dtype=tf.float32)
    u0 = tf.constant([0.2], dtype=tf.float32)


    # TODO: Step2: load plant and parameters
    '''return plant: simulation'''
    simulation = SimSISO(noise_amplitude=0)

    # TODO: Step3: Load  NN model and training
    if Train_NN:
        '''get trained model'''
        import os
        script_path = 'test_models_bp_regressor.py'
        os.system(f'python {script_path}')

    model = load_model(f'models_save/BP_predictor.h5')
    # model.summary()

    # TODO: Step4: mpc training

    if mpc:
        # 创建MPC控制器实例
        mpc_controller = MPCController(model, predict_horizon, control_horizon, Q, R, ly, lu, dim_u, [-du_bounds,du_bounds],u_bounds, opt)
        data = np.zeros((N-2,7))
        result = pd.DataFrame(data,columns=['Time','reference', 'System output','u','solving_time', 'epoch','error'])
        # 初始化图表
        plt.close()
        fig, ax = plt.subplots(3, 1)
        plt.ion()  # 打开交互模式
        # MPC控制循环
        for i in range(2,N):
            if i > 30:
                y_ref = 5  # 参考轨迹值
            if i > 70:
                y_ref = 10  # 参考轨迹值
            mpc = OnlineOptimize(mpc_controller,state_y, state_u, use_online_correction=True)
            # controller computation
            parameter = mpc.make_step(error, y_ref, iterations=100, tol=1e-6)  #
            u0 = parameter['u0']
            # system output
            plant_output = simulation.plant(np.append(tf.squeeze(state_u), parameter['u0']),tf.squeeze(state_y))
            # estimate state
            state_y, state_u, error = mpc.estimate(parameter['u0'], plant_output)

            print(f">>> Current Time: {i},\t Object J: {parameter['solving_J']:>=.4f}, \t Current u:{parameter['u0'][0]:>=.4f}, \t Current System output: {plant_output[0]:>=.4f}, \t Optimization epoch: {parameter['solving_epoch']}, \t Solving time:{parameter['solving_time']:>=.4f} s")

            result.at[i, 'Time'] = i
            result.at[i, 'reference'] = y_ref
            result.at[i, 'System output'] = plant_output
            result.at[i, 'u'] = parameter['u0']
            result.at[i, 'epoch'] = parameter['solving_epoch']
            result.at[i, 'solving_time'] = parameter['solving_time']
            result.at[i, 'error'] = y_ref - plant_output

            # 动态更新图表
            for a in ax:
                a.clear()
            ax[0].plot(result['reference'][:i],'-',label='reference')    # 绘制当前变量的数据
            ax[0].plot(result['System output'][:i],'--',label='System output')  # 绘制当前变量的数据
            ax[0].legend(loc='upper right')

            ax[1].plot(result['u'][:i],'--',label='u') #
            ax[1].legend(loc='upper right')

            ax[2].plot(result['error'][:i],'--',label='error')
            ax[2].legend(loc='upper right')

            ax[0].set_ylabel('y') #fontdict= font2
            ax[0].set_xlabel('Time')

            ax[1].set_ylabel('u') #fontdict= font2
            ax[1].set_xlabel('Time')

            ax[2].set_ylabel('error') #fontdict= font2
            ax[2].set_xlabel('Time')
            # Set the font for tick labels to Times New Roman
            labels = ax[0].get_xticklabels() + ax[1].get_xticklabels() + ax[2].get_xticklabels() + ax[0].get_yticklabels() + ax[1].get_yticklabels() + ax[2].get_yticklabels()
            for label in labels:
                label.set_fontname('Times New Roman')
            # Adjust the layout
            plt.tight_layout()
            plt.draw()  # 绘制更新
            plt.pause(0.01)  # 暂停短时间，等待更新

        # 控制循环结束后，关闭图表
        plt.ioff()
        plt.close(fig)

        # plt.figure()
        plt.plot(result['reference'], '-', label='reference')  # 绘制当前变量的数据
        plt.plot(result['System output'], '--', label='System output')  # 绘制当前变量的数据
        plt.legend(loc='upper right')
        plt.show(block=False)

        plt.close()


        time = np.array(result['Time'])
        setpoint = np.array(result['reference'])
        sys_out = np.array(result['System output'])

        performance_metrics = calculate_performance_metrics([f'{model.name}_MPC'], sys_out, setpoint, time, percent_threshold=0.02,
                                               ise=True,
                                               iae=True,
                                               overshoot=False,
                                               peak_time=False,
                                               rise_time=False,
                                               rise_time1=False,
                                               settling_time=False,
                                               steady_state_error=False)
        # print(result)

        plt.figure()
        plt.plot(np.array(result['u']), label='input_u')
        plt.show()

        performance_metrics['mean_epoch'] = result['epoch'].mean()
        performance_metrics['mean_solving_time'] = result['solving_time'].mean()
        performance_metrics['mean_error'] = result['error'].mean()
        print(performance_metrics)

深度强化学习在机器人自主学习中的突破
AI天才研究院
11-22 1709
深度强化学习（Deep Reinforcement Learning，简称DRL）是强化学习（Reinforcement Learning，简称RL）与深度学习（Deep Learning，简称DL）的交叉领域。它的起源可以追溯到20世纪50年代，当时人工智能（Artificial Intelligence，简称AI）的先驱们开始探索如何通过机器自主学习来解决问题。早期的研究主要集中在基于规则的系统和简单的强化学习算法上，如Q-learning和SARSA。
模型预测控制MPC
oceancoco的博客
12-15 1743
通过学习与实践，我们可以看出模型预测控制（MPC）方法有着其独特的优势，例如他不用构建和训练策略，可以更好地利用环境，可以进行更长步数的的规划。但是MPC也有其局限性，例如模型在多步推演之后的准确性会大大降低，简单的控制策略对于复杂系统可能不够。MPC还有一个更为严重的问题，即每次计算动作的复杂度太大，这使其在一些策略及时性要求较高的系统中应用就变得不大现实。
模型预测控制（MPC,Model Predictive Control）
热门推荐
东巴图的博客
01-11 4万+
发展历史 20世纪70年代后期，一类新型的计算机控制算法出现在美法等国的工业过程领域，如动态矩阵控制(DMC,Dynamic Matrix Control)、模型算法控制(MAC,Model Algorithm Control)。1987年，首次有学者阐述了该系列算法的动因、机理及其在控制工业中的控制效果。自此，预测控制(Predictive Control)开始出现在控制领域中。 现在我们所说
DL-MPC:这是论文“将第一原理与深度学习相结合以进行模型预测控制”的配套资料库。
03-18
DL-MPC 概述 这是论文“使用深度学习的第一原理和软机器人的基于模型的控制”的配套资料库。 该存储库的目标如下： 提供用于实验的所有数据 提供所有培训代码 显示有关如何将模型用于推理/控制的示例 使我们的方法更加透明，以便于复制 此仓库包含本文使用的所有数据和所有的培训代码。还有一个推理脚本，您可以使用该脚本来模拟自己的图，以查看模型如何拟合数据。 设置 要克隆存储库，请运行： git clone https://github.com/tsor13/DL-MPC 要下载数据： Linux： sh download_linux.sh Mac或Windows：将模型（ ）和数据（ ）下载并解压缩到根存储库目录中。 作者 该代码由Taylor Sorensen，Curtis Johnson，Tyler Quackenbush，David Wingate和Marc Killpack提
Python实现深度学习模型预测控制（tensorflow）DL-MPC（Deep Learning Model Predictive Control
qq_42210908的博客
10-27 1559
DL-MPC（Deep Learning Model Predictive Control）是基于 Python 和 TensorFlow 框架开发的软件工具包，旨在通过深度学习技术提升传统模型预测控制 （MPC） 的性能。
Python 实现深度学习模型预测控制--预测模型构建
最新发布
qq_42210908的博客
10-28 551
链接：此文档为如何使用深度学习模型预测控制系列文档。使用 TensorDL-MPC 进行 MPC 控制，包括初始化系统、训练模型、执行 MPC 控制、模拟系统动力学等。
模型预测控制
03-28
一本学习模型预测控制入门很好的一本书，它涵盖的模型，算法比较多。除了常用的状态空间模型之外，应用传递函数（Z-域）来描述预测结果；并且，这本书回顾了一些MPC算法，如 Dynamic Matrix Control，Model Algorithmic Control，Predictive Function Control， Generilized Predictive Control等。通过简要的回顾应该能够帮助读者对MPC有一种整体性的把握
基于强化学习的MPC模型预测控制算法
xx_nm98的博客
09-04 5045
强化学习算法的核心功能是通过与外部环境的交互学习，即根据环境的变化，不断的指导控制器做出最优的控制策略，使得整个系统实时的适应外部环境的变化，从而实现最佳控制效果。而强化学习具备与外部环境的交互学习能力，使得基于强化学习的MPC预测模型具备更加精确的预测效果，并具备实时反映外部客观环境的能力。该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。
【深度学习与强化学习融合：Python实战演练】：代码到策略的全面解析
[【深度学习与强化学习融合：Python实战演练】：代码到策略的全面解析](https://nwzimg.wezhan.cn/contents/sitefiles2064/10320744/images/44593778.jpg) # 1. 深度学习与强化学习融合概述 在人工智能领域，深度...
【PyTorch强化学习：打造智能代理】：终极入门指南与实战案例
[【PyTorch强化学习：打造智能代理】：终极入门指南与实战案例](https://raw.githubusercontent.com/mrdbourke/pytorch-deep-learning/main/images/01_a_pytorch_workflow.png) # 1. PyTorch强化学习基础 ## 简介 ...
动态规划与模型预测控制：线性系统优化的数学基础深度解析
本论文系统地阐述了线性系统优化、动态规划和模型预测控制的理论基础、实现策略及实践应用。首先介绍了线性系统优化的基本概念，并对动态规划的数学原理、算法结构和实现策略进行了详细探讨。接着，论文深入分析了...
深度强化学习（DRL）新手入门：深度学习与RL的完美融合
在人工智能领域，深度强化学习（Deep Reinforcement Learning, DRL）已成为一个研究热点，它将深度学习（Deep Learning, DL）与强化学习（Reinforcement Learning, RL）结合起来，使机器能够在复杂和动态的环境中...
论文阅读笔记《DeepMPCVS: Deep Model Predictive Control for Visual 》
深视
05-28 829
核心思想   本文提出一种基于深度模型预测控制的视觉伺服方法，与传统的视觉伺服方法不同，该方法既不需要设计视觉特征，也不需要计算交互矩阵的逆矩阵。而是利用光流信息来描述当前图像和期望图像之间的差异，并且通过交互矩阵（图像雅可比矩阵）将速度信息和光流信息关联起来，因为交互矩阵就是描述了图像中的位置变化与运动速度之间的关系。进而使用一个基于循环神经网络的模型来根据上一时刻的速度，输出未来时刻的速度指令。整个算法的流程如下图所示   首先，作者先介绍了传统视觉伺服实现的方式，其核心为 其中s(It)s(I_t
一文深度学习建模预测全流程(Python)
算法进阶
11-13 6111
本文详细地梳理及实现了深度学习模型构建及预测的全流程，代码示例基于python及神经网络库keras，通过设计一个深度神经网络模型做波士顿房价预测。主要依赖的Python库有：keras、scikit-learn、pandas、tensorflow（建议可以安装下anaconda包，自带有常用的python库） 一、基础介绍 机器学习 机器学习的核心是通过模型从数据中学习并利用经验去决策。进一步的，机器学习一般可以概括为：从数据出发，选择某种模型，通过优化算法更新模型的参数值，使任务的指标表现变好（学习
无人驾驶汽车系统入门（十一）——深度前馈网络，深度学习的正则化，交通信号识别
AdamShan的博客
01-22 1万+
无人驾驶汽车系统入门（十一）——深度前馈网络，深度学习的正则化，交通信号识别 在第九篇博客中我们介绍了神经网络，它是一种机器学习方法，基于经验风险最小化策略，凭借这神经网络的拟合任意函数的能力，我们可以使用神经网络来表示任意的模式。然而，在前几十年，神经网络并没有受到人们的重视，直到深度学习的出现，人们利用深度学习解决了不少实际问题（即一些落地性质的商业应用），神经网络才成为学界和工业界关
深度学习在控制领域的研究现状与展望
Mgo666的博客
06-23 2万+
深度学习在控制领域的研究现状与展望摘要 深度学习在控制领域的研究现状与展望摘要 深度学习在特征提取与模型拟合方面显示了其潜力和优势。对于存在高维数据的控制系统，引入深度学习具有一定的意义。近年来，已有一些研究关注深度学习在控制领域的应用。本文介绍了深度学习在控制领域的研究方向和现状，包括控制目标识别、状态特征提取、系统参数辨识和控制策略计算。并对相关的深度控制以及自适应动态规划与平行控制的方法和思...
非参数贝叶斯模型、Dirichlet Process，Stick-Breaking
上帝是个娘们的博客
01-14 4474
非参数贝叶斯模型 资料： 非参数贝叶斯模型概述 如何简单易懂地理解贝叶斯非参数模型？ 为了讲清楚什么是非参数贝叶斯模型，先看看下面几个概念： 参数模型 参数模型就是知道总体（随机变量）的分布，但是不知道这个分布的参数，比如知道x服从参数为p的二项分布，因此我们得到x的样本后，要反推回p到底是什么。求解参数模型的常用方法比如最大似然估计（MLE），最大后验估计（MAP）。在参数模型中，常用的已知分布...
模型预测控制与机器学习
weixin_42722455的博客
11-17 7412
本文转载于 https://mp.weixin.qq.com/s/jp0NP5jolLJ6SjE3SBDyTg ,仅用于交流学习。 文章目录一、模型预测控制原理及应用二、浅谈机器学习技术三、基于机器学习的模型预测控制四、总结 最近几年，人工智能和机器学习受到了各行各业的热捧，已经不再是计算机科学系（CS）的“专利”，甚至连我这个传统的机械工程系（ME）研究生都跑来凑了个热闹。本文将不使用任何让人敬而远之的公式，试图通过自然语言深入浅出的讨论，当模型预测控制遇见机器学习，它们会擦出怎样的思想火花。 一、
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值