5. 强化学习之——策略优化

最新推荐文章于 2025-02-26 14:26:32 发布
最新推荐文章于 2025-02-26 14:26:32 发布
阅读量5.8k 收藏 37
点赞数 6
分类专栏： 强化学习 文章标签： 强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43450646/article/details/106753158
版权
本文介绍了基于策略的强化学习，包括策略梯度的基础知识、降低方差的方法和Actor-Critic策略。讨论了策略梯度的优化目标、蒙特卡罗策略梯度及如何利用baseline和Critic来减小方差。还提到了现代RL算法如A2C、A3C、TRPO、PPO和SAC，以及策略和价值函数学派的差异。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

课程大纲

基于策略的强化学习：前面讲的都是基于价值的强化学习，这次讲基于策略函数去优化的强化学习

蒙特卡罗策略梯度

如何降低策略梯度的方差

Actor-Critic：同时学习策略函数和价值函数

基于策略的强化学习基础知识

Value-based RL 与 Policy-based RL：

Policy-based RL 的优势与劣势：

策略的分类：

（1）确定性策略

（2）概率分布性策略

 对策略进行优化的过程中，优化目标是什么？

给定一个带参数的策略逼近函数（类似于值函数逼近）\pi_{\theta}(s, a)，我们就是要找到最优的 \theta 

怎么去评价一个策略 \pi_{\theta} 呢？【废话，当然是用值函数啊】

从环境的角度去看：

（1）对于 episodic 的环境：可以用最开始的那个 value

（2）对于 continuing 环境：可以用平均的 value；也可以用平均的 reward

从轨迹的角度去看：

怎么去优化我们的目标方程 J(\theta) 呢？

&

最低0.47元/天 解锁文章
强化学习 动态规划 策略评估 策略改进 策略迭代 有模型 无模型
anananajiushiwo的博客
06-14 717
目录一.动态规划1.1核心思想1.2异步动态规划二.策略评估与改进2.1有模型学习与无模型学习2.2策略评估2.2.1输入2.2.2输出2.2.3迭代过程2.3策略改进2.3.1输入2.3.2输出2.3.3迭代过程2.4策略迭代动态规划，英文名Dynamic Programming，简称DP。其核心思想为：1.分解原问题为若干子问题，通过求解子问题，得到原问题的解。2.分解得到的多个子问题省去重复问题的计算过程。异步动态规划英文被称为Asynchronous Dynamic Programming，能够高效
基于策略的强化学习
lsjmax的博客
10-19 3942
基于值函数的强化学习缺点 1.针对确定性策略。 值函数是间接得到最优策略的方法，根据价值函数的大小，贪心选择值最大的动作，是确定性策略，每次面对同一个状态，选择的动作是同一个。 2.存在策略退化。 基于值函数的方法，基本是用近似器去拟合真实的价值函数，必然存在着一定的误差，但是即使将误差训练到很小了，可能导致策略变差。比如真实的价值函数得到的A,B两个动作值分别为，0.45,0.46，真正的策略应...
强化学习——策略优化（笔记）
LiuZ的博客
01-31 3568
本文将会讨论策略优化的数学基础，并且会附上简单的实践代码。三个要点 一个简单的等式，将策略梯度跟策略模型参数连接起来 一条规则，允许我们将无用的项从等式里去掉 另一条规则，允许我们在等式中添加有用的项 推导最简单的策略梯度 在这里，我们考虑随机参数化策略的情况πθ\pi _ {\theta}πθ​。我们的目标是使预期收益J(πθ)=Eτ∼πθ[R(τ)]J(\pi _ {\theta})= \...
强化学习的优化技巧与经验
AI天才研究院
12-31 1647
1.背景介绍 强化学习(Reinforcement Learning, RL)是一种人工智能(Artificial Intelligence, AI)技术，它通过在环境中进行交互来学习如何做出决策，以最大化累积奖励。强化学习的主要优势在于它能够处理动态环境和不确定性，并且可以在没有先前示例的情况下学习复杂的策略。然而，强化学习的挑战在于它的训练过程通常非常耗时和计算资源，这使得优化和提高性能变得...
强化学习3-策略优化
最新发布
discococ的博客
02-26 699
学习记录。
6. 强化学习之——策略优化进阶
June
06-16 943
课程大纲 Policy Gradient 算法的不同的变种 近五年的最新策略优化过程【6种方法，2条主线】 主线一：Policy Gradient ->Natural Policy Gradient -> TRPO -> ACKTR -> PPO 主线二：Q-Learning -> DDPG ->TD3 -> SAC Policy Gradient 算法的不同形式 总结一下： Policy Gradient 有许多不同的形式是因为 reward f
强化学习——策略学习
菜到怀疑人生的博客
04-12 5097
文章目录前言策略学习策略学习的目标 前言 前段时间都在忙毕业论文，强化学习这块的总结就拉下了，本小节将对《深度强化学习》中的策略学习章节进行总结。如有错误，欢迎指出。 策略学习 价值学习让神经网络学习最优动作价值函数Qπ(s,a)Q_{\pi}(s,a)Qπ​(s,a)，而策略学习让神经网络学习最优策略函数π(a∣s)\pi(a|s)π(a∣s)，其中aaa表示智能体执行的动作，sss表示环境状态。如下图所示，策略学习中的神经网络的输入为状态sss，输出为智能体执行各个动作的概率，接着依据概率随机抽样一个动
【强化学习】策略优化基础
sword_csdn的博客
10-11 1686
目录Value-based RL vs Policy-based RLPolicy-based RL的优势与劣势策略函数的类型策略优化Cross-Entropy Method Value-based RL vs Policy-based RL 基于策略函数的强化学习（Policy-based RL）学习的是策略函数，策略函数实际上跟机器学习领域中的分类模型（model）差不多。这跟基于价值函数的强化学习（Value-based RL）不同。 （1）基于价值函数的强化学习是基于一个确定的策略来计算QQQ值，然
策略梯度（Policy Gradient）
m0_61616957的博客
09-20 2359
策略梯度
7. 强化学习之——基于模型的强化学习
June
06-16 7978
课程大纲 model-based RL 概要 model-based value optimization model-based policy optimization case study 基于模型的强化学习概要 之前学 model-free RL 的时候 （1）从经验中利用 policy gradient 直接学习 policy （2）利用 MC 或者 TD 学习 value function 本次课将会讲到 model-based RL【在讲 MDP 时有提到，有model 时就.
8. 强化学习之——模仿学习
June
06-27 5029
课程大纲 注：本文所有内容源自于B站周博磊老师更新完的强化学习纲要课程，听完之后获益很多，本文也是分享我的听课笔记。周老师Bilibili视频个人主页：https://space.bilibili.com/511221970?spm_id_from=333.788.b_765f7570696e666f.2 感谢周老师 :) ...
4. 强化学习之——值函数近似
June
06-11 2564
课程纲要 值函数近似简介 值函数近似用于prediction【给定策略函数给定它的价值】 值函数近似用于control DQN简介 为什么要有值函数近似 之前的课程提到的 RL 问题：像 Cliff Walk 等，都只有几千或者几百种状态，可以用 V值的向量或者Q-Table 的方式表达出来 而其它大规模的 MDP 问题：像 Go【10**170】 等状态空间十分十分巨大，宇宙中的原子数量也只有 10**80 那么多，那么我们就没有那么大的存储空间，而且状态太多了学习起来很慢很慢 在这种大.
【强化学习入门-2】深入理解策略优化和值函数估计
echo_Fangyb的博客
01-16 798
策略。
深度强化学习的调度策略优化算法
06-19
深度强化学习的调度策略优化算法 https://github.com/xwhan/walk_the_blocks
强化学习（三）：策略评估与优化
zkpeace
07-27 2682
本文章收录在黑鲸智能系统知识库-黑鲸智能系统知识库成立于2021年，致力于建立一个完整的智能系统知识库体系。我们的工作：收集和整理世界范围内的学习资源，系统地建立一个内容全面、结构合理的知识库。 作者博客：途中的树 强化学习（一）：Agent - Environment框架 强化学习（二）：价值函数 确定状态值 强化学习系统的一个子任务是 尽可能多地了解环境和它的奖励行为，以便更好地塑造代理的策略π\piπ 使用行为策略使Agent与环境互动，Agent将获得奖励，并能了解环境的一些情况,.
优化策略
08-05 277
1.openCamera - createSession 放在子线程，不用等待 suferview的创建， 等待回调创建成功 2.
李宏毅机器学习系列-强化学习之近端策略优化PPO
王伟王胖胖的博客
09-03 2689
李宏毅机器学习系列-强化学习之近端策略优化策略梯度的另一个问题 策略梯度的另一个问题 上一篇深度强化学习介绍到，我们的奖励梯度是这个样子： 这个就意味着，在同一场游戏里不同的sts_tst​下，采取某个ata_tat​的权重有一个相同的R(τn)R(\tau^n)R(τn)，这显然是有问题的。比如如果某个R(τn)R(\tau^n)R(τn)好，并不意味着他里面的a都好，要提高出现的概率，相反R...
强化学习的优化技巧：从探索到悖论
AI天才研究院
01-07 991
1.背景介绍 强化学习(Reinforcement Learning, RL)是一种人工智能技术，它通过在环境中执行动作来学习如何取得最大化的奖励。在过去的几年里，强化学习已经取得了显著的进展，并在许多领域得到了广泛应用，如游戏、机器人控制、自动驾驶等。然而，强化学习仍然面临着许多挑战，其中一个主要挑战是如何有效地优化学习策略以提高学习效率和性能。 在本文中，我们将讨论一些强化学习的优化技巧，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值