强化学习《基于策略&价值 - Pathwise Derivative Policy Grident》

最新推荐文章于 2023-10-17 19:36:11 发布
最新推荐文章于 2023-10-17 19:36:11 发布
阅读量308 收藏
点赞数
分类专栏： 强化学习 文章标签： 强化学习 Q-Learning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_29367075/article/details/110508249
版权

一：算法介绍
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
二：训练过程

在这里插入图片描述

在这里插入图片描述
三：和Q-Learning训练的具体算法的不同

Q-Learning的方式
在这里插入图片描述
本算法的改动
在这里插入图片描述
在这里插入图片描述

星海千寻
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【详解+推导！！】Pathwise Derivative Policy Gradient（PDPG）
志远的博客
04-09 2015
Pathwise Derivative Policy Gradient（PDPG） 是一种强化学习方法，可以解决连续动作的问题。 文章目录1. 前缀知识2. 如何理解这个算法与Actor-Critic对比理解与Q-Learning对比理解3. 算法过程 1. 前缀知识 如果想比较深刻的理解Pathwise Derivative Policy Gradient（PDPG）需要提前了解一下内容： Policy Gradient：https://blog.csdn.net/qq_33302004/article
强化学习简介
CSDN_LYY的专栏
01-03 1341
强化学习是机器想里面非常重要的一个派别。智能体agent会不断执行一些操作，通过结果来学习，在不同的环境中分别应该采取怎样的行动。 一些常见的算法如： Q学习，深度Q网络 (DQN) ，策略梯度 (Policy Gradients) ，演员-评论家 (Actor-Critic) ，以及近端策略优化 (PPO)等。 奖励假说为根基 问题来了，目标为什么是预期累积奖励最大化？ 因为，强化学习原本就是建...
深入理解强化学习——智能体的类型：基于价值的智能体和基于策略的智能体
冯·诺依曼
10-17 557
而在基于价值的强化学习方法中，智能体不需要制定显式的策略，它维护一个价值表格或价值函数，并通过这个价值表格或价值函数来选取价值最大的动作。基于价值迭代的方法只能应用在不连续的、离散的环境下（如围棋或某些游戏领域），对于动作集合规模庞大、动作连续的场景（如机器人控制领域），其很难学习到较好的结果（此时基于策略迭代的方法能够根据设定的策略来选择连续的动作）。其中，智能体会根据策略做出动作，而价值函数会对做出的动作给出价值，这样可以在原有的策略梯度算法的基础上加速学习过程，取得更好的效果。
机器学习与深度学习系列连载： 第三部分 强化学习（十六) 深度强化学习- Pathwise Derivative策略梯度
Doctor Wu的博客
12-09 2696
Pathwise Derivative策略梯度 我们在使用Critic（评估价值）的过程中，传统的方法只是给一个评估的值得大小，我们利用评估的值，采取增加倾向于评估值大的action的概率。 但是如果Critic不但给出对于action的评价，而且给出actor下一步的建议呢。（就像老师不但把我们作业批改了，然后还给出了怎么做好作业的建议，而传统的Critic知只是一个能给我们批改作业的老师，但...
强化学习: 策略迭代与价值迭代
Liu_zy的博客
04-09 2772
强化学习面试经典问题: 策略迭代与价值迭代的关系 在强化学习问题中, 如果知道环境的模型(动力学模型Model-based, 例如所有的状态转移概率矩P(s′∣s)和关于动作或状态的奖励等), 则可利用这些信息构建一个 MDP 模型来对环境进行描述. 一旦有了环境的动力学模型, 就可以使用动态规划(DP)的方法来对最优价值函数和策略进行求解. 一旦获得了最优价值函数, 最优策略就是选择能够最大化下一状态价值的动作.
深度强化学习 - Actor-Critic
01-30
Actor-Critic Asynchronous Advantage Actor-Critic (A3C) Pathwise Derivative Policy Gradient
Complex-valued matrix derivative with applications
11-04
- Introduce the rules for computing the derivative of complex-valued functions. -Provide applications in signal processing and communications. - A great handbook for both research and engineering.
PID控制（Proportional-Integral-Derivative Control）
最新发布
02-01
PID控制（Proportional-Integral-Derivative Control）是一种在过程控制和自动化领域广泛应用的反馈控制算法，主要用于连续控制系统中以实现精确、快速和稳定的输出控制。PID控制器的设计目的是根据系统实际输出与...
Hyperspectral Image Classification by Spatial-Spectral Derivative-Aided Kernel Joint Sparse Representation
02-09
Hyperspectral Image Classification by Spatial-Spectral Derivative-Aided Kernel Joint Sparse Representation
Policy Gradient策略梯度算法详解
ningmengzhihe的博客
05-16 4233
Policy Gradient策略梯度算法原理
【强化学习】Policy Gradient（策略梯度）算法详解
谁最温柔最有派
04-21 1万+
1 Policy Gradient简介 1.1 基于策略和基于值的强化学习方法不同 强化学习是一个通过奖惩来学习正确行为的机制。家族中有很多种不一样的成员，有学习奖惩值，根据自己认为的高价值选行为，比如Q-Learning，Deep-Q-network，也有不通过分析奖惩值，直接输出行为的方法，这就是今天要说的Policy Gradient加上一个神经网络来输出预测的动作。对比起以值为基础的方法，Policy Gradient直接输出动作的最大好处就是，他能在一个连续区间内挑选动作，而基于值的，比如Q-Le
torch.distributions 详解
热门推荐
Vic_Hao的博客
06-05 2万+
distributions包含可参数化的概率分布和采样函数，这允许构造用于优化的随机计算图和随机梯度估计器。 通常，不可能直接通过随机样本反向传播。但是，有两种方法可以创建可以反向传播的代理函数，即得分函数估计器/似然比函数估计器/REINFORCE和pathwise derivative估计器。REINFORCE通常被视为强化学习中策略梯度方法的基础，并且pathwise derivative估...
6、强化学习--策略梯度
weixin_42988382的博客
01-18 3723
策略梯度简介基于价值和基于策略的强化学习policy based方法的优缺点基于价值函数的策略有时无法得到最优策略策略目标函数三种形式的策略目标函数优化目标函数有限差分策略梯度策略梯度有限差分法计算策略梯度蒙特卡洛策略梯度softmax 策略高斯策略策略梯度定理蒙特卡洛策略梯度定理Actor-Critic 策略梯度定理兼容近似函数 Compatible Function Approximation...
【RL】Actor-Critic
爱吃猫的小鱼干
10-12 503
强化学习的算法分为基于价值与基于策略两大类，这两大类在思想上是完全不同的。基于价值的算法目标是拟合隐藏在环境中的价值函数，而基于策略的算法则是不断地优化策略。所有强化学习的算法，基本的思想都不外乎于这两种。从这个角度上说，Actor-Critic算法本质上还是基于策略的方法，因为其算法的核心还是在不断地优化策略。虽然我们要训练价值网络，但是其目标也只是“辅佐”策略网络更好地训练。当我们学习VPG算法的时候，其理论与训练方式都与DQN完全不同，因为这本质上是两种不同的算法；而在下面的Actor-Critic算
李宏毅机器学习（30）
Baigker的博客
08-21 204
Q-Learing Critic 相比于Policy，Critics的评价方法很不一样：他有一个状态评价函数VπV^πVπ，输入是Environment的一个状态State，然后根据Actor也就是πππ的情况，输出从当前这个状态开始到结束，一共能获得多少期望的Reward，记为Vπ(s)V^π(s)Vπ(s)。 比如打砖块时，VπV^πVπ会输出从现在到结束大概能得多少分。 比如下围棋，VπV^πVπ会输出现在的局势下双方胜率是多少。 那么，如何做这个VπV^πVπ呢？一般有两种办法。 第一种，蒙特卡
Lane Graph as Path：Continuity-preserving Path-wise Modeling for Online Lane Graph Construction
m_buddy的博客
03-25 688
介绍：在车道拓扑结构建模描述中经常使用pixel-wise（基于分割）或piece-wise（小段车道检测并连接）方式，但是这样的方式并不是将一个lane完整建模和优化的，因而当某些细节单元上出现错误的时候就会对整条lane的感知产生影响。基于如此观察文章将lane描述为一个带方向的path，并完整预测path的几何结构，从而得到较为完成的path描述，一个场景的道路graph信息便是通过这些path组合起来的。
强化学习《基于策略&价值 - Asynchronous Adventage Actor-Critic》
qq_29367075的博客
11-30 267
继续学习Asynchronous Advantage Actor-Critic (A3C) 一：原理 强化学习有一个问题就是训练过程很慢，为了解决这个问题就可以使用A3C算法。 A3C的原理也很简单——既然一个actor训练速度慢，那就开多个actor，最后这些actor会把各自学到的经验集合起来，这样就实现数倍的训练速度。 这个也算是很朴实的想法了，并行训练。 训练过程就是如下： 每个worker从global network复制参数 不同的worker与环境去做互动 不同的worker计算出各自的g
强化学习基础
Trony的博客
08-07 217
Reinforcement Learning 1、概率论知识 Random Variable Random variable：随机变量是一个未知的量，它的值取决于一个随机事件的结果。使用大写的X表示其值。 使用小写字母x来表示随机变量的观测值，小x只是一个数而已没有随机性。 Probability Density Function(PDF, 概率密度函数) 概率密度函数的物理意义是，随机变量在某个确定的取值点附近的可能性 比如：高斯分布 是一个连续的分布 PDF：p(x)=12πσ2exp(−(x−
MATLAB基于深度强化学习的PID代码。
05-10
很抱歉，我不能为您提供完整的MATLAB基于深度强化学习的PID代码。但是，我可以为您提供一些思路和方法来实现这个算法。 深度强化学习的PID算法通常包括以下步骤： 1. 环境建模：将控制对象建模为一个环境，包括状态、动作和奖励等方面。 2. 数据收集：利用某种策略（例如随机或贪婪）进行数据收集，以便训练深度强化学习模型。 3. 模型训练：使用收集到的数据来训练深度强化学习模型，以预测下一步的状态和奖励。 4. 控制策略：根据深度强化学习模型的预测结果，制定控制策略，包括PID控制器。 5. 控制器优化：使用强化学习算法优化PID控制器的参数，以提高控制性能。 下面是一个示例代码，供您参考： ```matlab % 环境建模 % 假设控制对象为一个简单的系统，包含一个输入和一个输出 % 状态变量为系统当前的输出值 % 动作变量为控制器输出的控制信号 % 状态变量 state = 0; % 奖励函数 reward = @(s) abs(s - 50) < 5 ? 1 : 0; % 数据收集 data = []; for i = 1:1000 % 随机选择动作 action = rand() * 100; % 获得下一个状态和奖励 next_state = action; r = reward(next_state); % 将数据加入数据集中 data = [data; state, action, r, next_state]; % 更新状态 state = next_state; end % 模型训练 % 使用深度强化学习模型（例如深度Q网络）对数据进行训练 % 这里使用一个简单的线性回归模型代替 % 将数据集拆分为训练集和测试集 train_data = data(1:800, :); test_data = data(801:end, :); % 训练模型 X = train_data(:, 1:2); y = train_data(:, 3); mdl = fitlm(X, y); % 控制策略 % 使用PID控制器制定控制策略，使用深度强化学习模型预测下一步的状态和奖励 % PID控制器参数 Kp = 0.1; Ki = 0.01; Kd = 0.01; % 初始状态 state = 0; % 控制信号 u = 0; % 控制器输出 output = []; for i = 1:200 % 计算PID控制器输出 error = 50 - state; integral = sum(output) * Ki; derivative = (output(end) - output(end-1)) * Kd; u = Kp * error + integral + derivative; % 限制控制信号在0~100之间 u = max(min(u, 100), 0); % 预测下一个状态和奖励 next_state = predict(mdl, [state, u]); r = reward(next_state); % 更新状态 state = next_state; % 将控制信号加入输出列表中 output = [output; u]; end % 控制器优化 % 使用强化学习算法（例如DQN或DDPG）优化PID控制器的参数，以提高控制性能 % 这部分代码需要根据具体的强化学习算法和控制器模型进行编写 ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值