基于深度强化学习的小球弹射控制系统仿真: DDPG与TD3的对比

最新推荐文章于 2024-08-26 22:21:22 发布
最新推荐文章于 2024-08-26 22:21:22 发布
阅读量475 收藏 2
点赞数
文章标签： php 开发语言 Matlab
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_79326857/article/details/132807238
版权
Matlab 专栏收录该内容
129 篇文章 61 订阅 ¥59.90 ¥99.00
订阅专栏
本文通过Matlab实现基于深度强化学习的小球弹射控制系统，对比DDPG和TD3算法。介绍了这两种算法的基本原理，并提供Matlab代码示例，分析其在控制系统中的应用和优劣。
摘要由CSDN通过智能技术生成

基于深度强化学习的小球弹射控制系统仿真: DDPG与TD3的对比

强化学习是一种通过智能体与环境的交互来学习最优行为策略的方法。在实际应用中，强化学习在控制系统中的应用越来越广泛，其中包括小球弹射控制系统。本文将使用Matlab实现基于深度强化学习的小球弹射控制系统，并对比两种常用的算法：深度确定性策略梯度（DDPG）和双重延迟深度确定性策略梯度（TD3）。

首先，我们需要了解小球弹射控制系统的基本原理。该系统由一个小球和一个弹射器组成，目标是通过调节弹射器的参数，使得小球尽可能准确地射入目标区域。在这个问题中，我们可以将小球的位置和速度作为状态，将弹射器的参数作为动作，通过与环境的交互来学习最优的控制策略。

接下来，我们将介绍DDPG和TD3两种算法的基本原理，并给出相应的Matlab代码实现。

  1. DDPG算法
    DDPG是一种基于确定性策略梯度的深度强化学习算法，它结合了深度神经网络和经验回放机制。算法的基本思想是使用一个用于动作选择的确定性策略网络和一个用于评估策略性能的值函数网络。

DDPG的核心是两个网络：Actor网络和Critic网络。Actor网络根据当前状态选择动作，Critic网络评估Actor网络的输出动作值函数。通过不断迭代更新这两个网络，最终得到最优的策略。

以下是使用Matlab实现DDPG算法的代码示例：


                

                
                
        

        

    

  


        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
            

        

    

      

        

            

              
                
                  coding远方
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          

                

                        订阅专栏
                









                



	

		

			

				
					
【深度强化学习】基于深度强化学习的小球弹射控制系统仿真对比DDPG和TD3

				
			

			

				

					平时工作较为繁忙,私信消息一般晚上回复,谢谢大家~~
				

				

					12-12
					
					213
					
				

			

		

		

			
				
深度强化学习将深度学习的感知能力和强化学习的决策能力相结合，可以直接根据输入的图像进行控制，是一种更接近人类思维方式的人工智能方法。深度学习具有较强的感知能力，但是缺乏一定的决策能力；而强化学习具有决策能力，对感知问题束手无策。因此，将两者结合起来，优势互补，为复杂系统的感知决策问题提供了解决思路。DQN 有一个记忆库用于学习之前的经历。

			
		

	



                

              
                



	

		

			

				
					
DDPG ,TD3,SAC

				
			

			

				

					aaaaPIKACHU的博客
				

				

					05-18
					
					1942
					
				

			

		

		

			
				
DDPG与SAC的区别：

DDPG训练得到的是一个deterministic policy确定性策略，也就是说这个策略对于一种状态state只考虑一个最优的动作。Deterministic policy的最终目标找到最优路径。
	Stochastic policy随机策略在实际应用中往往是更好的做法。比如我们让机器人抓取一个水杯，机器人是有无数条路径去实现这个过程的，而并不是只有唯一的一种做法。因此，我们就需要DRL算法能够给出一个随机策略，在每一个state上都能输出每一种action的概率，比如有3个

			
		

	



                


  
              

                


	

		

			

				
					
强化学习算法，DDPG算法，在simulink或MATLAB中编写强化学习算法，基于强化学习的自适

				
			

			

				

					vmHEmodEMoA的博客
				

				

					07-06
					
					863
					
				

			

		

		

			
				
通过将强化学习算法与传统控制算法相结合，可以进一步提高控制系统的性能和鲁棒性，为实际控制问题的解决提供更好的解决方案。传统的MPC算法需要提前建立系统的数学模型，而基于强化学习的MPC算法可以利用强化学习算法从系统的实际运行中学习到系统的模型，从而实现更加准确和稳定的控制。强化学习算法，DDPG算法，在simulink或MATLAB中编写强化学习算法，基于强化学习的自适应pid，基于强化学习的模型预测控制算法，基于RL的MPC，Reinforcement learning工具箱，具体例子的编程。

			
		

	





	

		

			

				
					
强化学习笔记3——DDPG,TD3

				
			

			

				

					qq_48342932的博客
				

				

					01-30
					
					2144
					
				

			

		

		

			
				
我们知道DQN的网络输出一个动作数量大小的向量，其中每个分量代表那个动作的q值。但是连续动作空间的动作数量是，这样的表示将不能再用。为了能适配连续动作空间所以DDPG将选择动作的过程变成一个直接从状态映射到具体动作的函数 μθ(s)，其中 θ 表示模型的参数，这样一来就把求解 Q 函数、贪心选择动作这两个过程合并成了一个函数。这个平面的每个点代表一个状态动作对的价值，actor的任务就是固定了某个动作s，需要在a和Q(s，a)这个函数曲线上找到能取最大Q的动作a。

			
		

	



		

			
		



	

		

			

				
					
深度强化学习算法（四）（附带MATLAB程序）

					
最新发布

				
			

			

				

					qq_35623594的博客
				

				

					08-26
					
					1938
					
				

			

		

		

			
				
DDPG 将 DPG 的思想与深度学习相结合，使用神经网络来近似策略和价值函数。策略网络（Actor Network）：用于生成动作。价值网络（Critic Network）：用于评估动作的价值。目标网络（Target Networks）：策略和价值网络的延迟副本，用于稳定训练过程。DDPG 通过使用确定性策略梯度和深度神经网络，能够有效地处理高维连续动作空间的强化学习任务。它结合了价值函数和策略函数的深度学习方法，以及稳定训练的目标网络和经验回放机制，为连续控制问题提供了一个强大的解决方案。

			
		

	





	

		

			

				
					
【RL】(task4)DDPG算法、TD3算法

				
			

			

				

					发现问题，并解决问题，批判性思维
				

				

					01-25
					
					688
					
				

			

		

		

			
				
一、DDPG算法
DDPG（Deep Deterministic Policy Gradient）算法

DDPG算法是一种结合了深度学习和确定性策略梯度的算法。它主要解决的是在连续动作空间中，智能体（agent）如何通过不断尝试来学习到一个最优策略，使得在与环境交互的过程中获得最大的回报。

深度学习：使用深度神经网络来近似表示价值函数和策略。
确定性策略：不像一些随机策略，确定性策略为每个状态输出一个确定的动作，这样更容易进行优化。
策略梯度：通过计算策略的梯度来更新策略，使得策略朝着更好的方向改进。


			
		

	





	

		

			

				
					
TD3与DPG、DDPG、Double DQN解析

				
			

			

				

					日月既往，不可复追
				

				

					03-22
					
					2554
					
				

			

		

		

			
				
TD3与DPG、DDPG、Double DQN解析
文章目录TD3与DPG、DDPG、Double DQN解析0 - 前言1 - 回顾DPG2 - 回顾DDPG3 - 回顾Double DQN4 - TD3算法
0 - 前言
本文是对【上海交通-陈伟哲】的哔站TD3讲解视频做的笔记，图片均来自视频中或论文中，注意本文的阅读需要提前看一下TD3的原文

参考：
TD3参考：https://www.bilibili.com/video/BV1nE41117CR?from=search&seid=7053

			
		

	





	

		

			

				
					
强化学习仿真实践记录

				
			

			

				

					Test_tju的博客
				

				

					11-13
					
					594
					
				

			

		

		

			
				
一些注意事项
论文结果难复现？本文教你完美实现深度强化学习算法DQN
强化学习环境学习-gym[atari]-paper中的相关设置



			
		

	





	

		

			

				
					
基于深度强化学习的小球弹射控制系统仿真对比DDPG和TD3，matlab2021a仿真测试。

				
			

			

				

					04-30
				

			

		

		

			
				
总结来说，这个项目旨在通过MATLAB 2021a对小球弹射控制系统进行深度强化学习的仿真，比较DDPG和TD3在不同状态空间下的性能，以及可能的硬件实现。通过对代码的分析和调整，我们可以深入理解这两种算法的优缺点，为...

			
		

	





	

		

			

				
					
深度强化学习对比,对比了DDPG,PG以及TD3三种方法+含代码操作演示视频 

				
			

			

				

					05-18
				

			

		

		

			
				
深度强化学习对比,对比了DDPG,PG以及TD3三种方法+含代码操作演示视频    运行注意事项：使用matlab2021a或者更高版本测试，运行里面的Runme.m文件，不要直接运行子函数文件。运行时注意matlab左侧的当前文件夹窗口...

			
		

	





	

		

			

				
					
如何清空matlab的代码-understand-ddpg:DDPG学习心得

				
			

			

				

					05-21
				

			

		

		

			
				
如何清空matlab的代码
Deep
deterministic
policy
gradients
(DDPG)
本文记录学习DDPG算法细节中遇到的若干问题。
Click
to
open
TOC
DDPG的主要特征
DDPG的优点以及特点,
在若干blog,
如以及中已经详述,
在此不再赘述细节。其主要的tricks在于:
Memory
replay,
与
DQN中想法完全一致；
Actor-critic
框架,
其中critic负责value
iteration,
而actor负责policy
iteration；
Soft
update,
agent同时维持四个networks,
其中actor与critic各两个,
分别有一个为target
network,
其更新方式为soft
update,
即每一步仅采用相对小的权重采用相应训练中的network更新；如此的目的在于尽可能保障训练能够收敛；
Exploration
via
random
process,
typically
OU
process,
为actor采取的action基础上增加一定的随机扰动,
以保障一定的探索完

			
		

	





	

		

			

				
					
TD3——DDPG的优化版本

				
			

			

				

					qq_43865022的博客
				

				

					04-28
					
					4457
					
				

			

		

		

			
				
TD3是Twin Delayed Deep Deterministic policy gradient algorithm的简称，双延迟深度确定性策略梯度。从名字看出，TD3算法是DDPG的改进版本。

优化主要体现在三个方面：

1、Clipped Double_Q Learning：使用两个"Twin" 独立的Critic网络来估算Q值，并且在计算目标Q时选取较小的Q值来计算，有效的缓解值过高估计问题，大大提高算法的性能。

2、“Delayed” Policy Updates：Actor网络使用延迟学

			
		

	





	

		

			

				
					
强化学习-DDPG、TD3

				
			

			

				

					qq_44430026的博客
				

				

					03-10
					
					892
					
				

			

		

		

			
				
磨菇书DDPG

			
		

	





	

		

			

				
					
TD3和DDPG的伪代码

				
			

			

				

					rl小透明
				

				

					06-30
					
					4015
					
				

			

		

		

			
				
TD3的技巧
技巧一：裁剪的双Q学习(Clipped Double-Q learning). 与DDPG学习一个Q函数不同的是，TD3学习两个Q函数(因此称为twin)，并且利用这两个Q函数中较小的哪个Q值来构建贝尔曼误差函数中的目标网络。
技巧二：延迟的策略更新(“Delayed” Policy Updates). TD3算法中，策略(包括目标策略网络)更新的频率要低于Q函数的更新频率。文章建议Q网络每更新两次，策略网络才更新一次。
络才更新一次。
技巧三：目标策略平滑(Target Policy S..

			
		

	





	

		

			

				
					
使用百度PARL框架中的TD3算法解决四轴飞行器悬浮控制问题

				
			

			

				

					wienparis的博客
				

				

					07-24
					
					799
					
				

			

		

		

			
				
项目任务
RLSchool 提供了一系列四轴飞行器的强化学习环境，包括悬浮控制、速度控制等。本文旨在针对悬浮控制环境比较百度Parl强化学习框架算法中的TD3相对于DDPG的优势。
理论
首先了解下TD3相对于DDPG的区别。
TD3的全称是Twin-Delayed Deep Deterministic Policy Gradient，和DDPG相比多了个Twin-Delayed。这也是TD3相对于DDPG的主要区别。和DDPG相比，TD3主要有以下3点改进：

TD3 agent 会学习两个Q值，在更新策

			
		

	





	

		

			

				
					
matlab强化学习算例理/菜鸟理解1——双足机器人行走算例

				
			

			

				

					weixin_46322427的博客
				

				

					12-31
					
					8703
					
				

			

		

		

			
				
目录matlab双足机器人强化学习算例介绍强化学习的一些基础理解菜鸟对一些名词的理解matlab强化学习库介绍双足机器人算例逻辑盘点如何改写算例做自己的强化学习。
%写在前面：
本人大四狗一名，不是计算机专业，所以这方面比较菜。最近在学习强化学习的一些算法，python更新太快，很多一两年前的学习资料就不太能用了，涉及到版本匹配和语法的更改等一系列问题。2020b的matlab中加入了DDPG\TD3\PPO等算法的强化学习算例和强化学习库，于是想用matlab来做强化学习。
最近看了看官方给出的双足机器人

			
		

	





	

		

			

				
					
强化学习 14 —— TD3 算法详解与 tensorflow 2.0 实现

				
			

			

				

					靡不有初鲜克有终
				

				

					08-22
					
					9685
					
				

			

		

		

			
				
上篇文章 强化学习 13 —— DDPG算法详解 中介绍了DDPG算法，本篇介绍TD3算法。TD3的全称为 Twin Delayed Deep Deterministic Policy Gradient（双延迟深度确定性策略）。可以看出，TD3就是DDPG算法的升级版，所以如果了解了DDPG，那么TD3算法自然不在话下。
一、算法介绍
TD3算法主要对DDPG做了三点改进，将会在下面 一一讲解，两者的代码也很相似，本篇只展示改进的部分，所以如果对DDPG算法不太熟悉，强烈建议参考上一篇博客 强化学习 13—

			
		

	





	

		

			

				
					
【MATLAB强化学习工具箱】学习笔记--训练DDPG智能体控制二阶双积分系统Train DDPG Agent to Control Double Integrator System

				
			

			

				

					bear_miao的博客
				

				

					11-15
					
					3207
					
				

			

		

		

			
				
DDPG是deep deterministic policy gradient深度确定性策略梯度算法的缩写。

环境

控制目标是通过力输入控制一个质量块的位置。


env = rlPredefinedEnv("DoubleIntegrator-Continuous")



质量块做一维运动，边界为[-4m,+4m]；

可观测量为质量块的位置和速度；

迭代终止条件：质量块移动距离超过5m或；

每一个时间步长的奖励由下式定义：



其中：

是质量块的状态向量；

是施加的力；

是控制性能的权.

			
		

	





	

		

			

				
					
2021-11-04

				
			

			

				

					qq2650326396的博客
				

				

					11-04
					
					256
					
				

			

		

		

			
				
#!/usr/bin/env python
#-*- coding:UTF-8 -*-

import rospy
import os
import json
import numpy as np
import random
import time
import sys
sys.path.append(os.path.dirname(os.path.abspath(os.path.dirname(__file__))))
from collections import deque
from std_msgs

			
		

	





	

		

			

				
					
深度强化学习：人工智能前沿

				
			

			

				

					
				

			

		

		

			
				
深度强化学习（Deep Reinforcement Learning，DRL）是人工智能领域的一个重要分支，它结合了深度学习与强化学习的优势。在传统的强化学习中，智能体通过与环境交互，通过试错的方式学习最优策略，以最大化长期奖励。...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值