【深度强化学习】(4) Actor-Critic 模型解析，附Pytorch完整代码

最新推荐文章于 2025-04-17 16:56:53 发布
最新推荐文章于 2025-04-17 16:56:53 发布
阅读量3w 收藏 304
点赞数 57
分类专栏： 深度强化学习 文章标签： python pytorch 强化学习 深度强化学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dgvv4/article/details/129466858
版权
本文介绍了深度强化学习中的Actor-Critic算法，它结合了策略迭代和值迭代，通过行动者网络选择动作和评论家网络评估动作效果。算法分为Actor和Critic两部分，分别用于动作选择和策略评价。文中提供了代码示例，展示了如何在OpenAIGym环境中使用该算法解决具体问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

大家好，今天和各位分享一下深度强化学习中的 Actor-Critic 演员评论家算法，Actor-Critic 算法是一种综合了策略迭代和价值迭代的集成算法。我将使用该模型结合 OpenAI 中的 Gym 环境完成一个小游戏，完整代码可以从我的 GitHub 中获得：

https://github.com/LiSir-HIT/Reinforcement-Learning/tree/main/Model

1. 算法原理

根据 agent 选择动作方法的不同，可以把强化学习方法分为三大类：行动者方法(Actor-only)，评论家方法(Critic-only)，行动者评论家方法(Actor-critic)。

行动者方法中不会对值函数进行估计，直接按照当前策略和环境进行交互。通过交互后得到的立即奖赏值直接优化当前策略。例如：Policy Gradients

评论家方法没有需要维护的策略，评论家方法的策略是直接通过当前的值函数获得的，并通过值函数获得的策略与环境交互。交互得到的立即奖赏值用来优化当前值函数。例如：DQN

行动者评论家方法是由行动者和评论家两个部分构成。行动者用于选择动作，评论家评论选择动作的好坏。行动者选择动作的方法不是依据当前的值函数，而是依据存储的策略。评论家的评论一般采用时间差分误差的形式，时间差分误差是根据当前的值函数计算获得的。时间差分误差是是评论家的唯一输出，并且驱动了行动者和评论家之间的所有学习。

2. 公式推导

根据策略梯度算法的定义，策略优化目标函数如下：

L_\pi = \sum _{a\in A} log \pi_ \theta (s_t, a_t) (G_{t}^{n}-V(s_t))

令 ，A_t = G_t^n - V(s_t)，称 A_t 为优势函数。采用 n 步时序差分法求解时，G_t 可以表示如下：

最低0.47元/天 解锁文章
（10-1）Actor-Critic算法：Actor-Critic算法的介绍与原理
码农三叔
03-10 4588
Actor-Critic（演员-评论家）是一种强化学习算法，通常用于解决连续动作空间的问题。其一个重要特点是它允许在学习过程中同时学习策略和价值函数，从而可以有效地处理连续动作空间和高维状态空间的问题。在本章的内容中，将详细讲解Actor-Critic算法的知识，为读者步入后面知识的学习打下基础。
【强化学习】Actor-Critic
yuyueyuer的博客
04-08 1041
强化学习：Actor-Critic(Pendulum-v1 & CartPole-v1)
深度强化学习 - Actor-Critic
01-30
Actor-Critic Asynchronous Advantage Actor-Critic (A3C) Pathwise Derivative Policy Gradient
Actor-Critic
程子鱼
03-27 982
Actor-Critic 算法是一种强化学习算法，结合了基于策略的算法（Actor）和基于价值的算法（Critic）。这种混合方法旨在解决单独使用每种方法时的局限性。在 Actor-Critic 框架中，代理（“Actor”）学习策略以做出决策，而价值函数（“Critic”）则对 Actor 采取的行动进行评估。Critic 同时通过估计行动的价值或质量来评估 Actor 的决策。这种双重角色使得算法能够在探索与利用之间取得平衡，充分发挥策略和值函数各自的优势。
强化学习算法系列（五）：最主流的算法框架——Actor-Critic算法框架
最新发布
qq_44886972的博客
04-17 1011
在以往学习的算法中，我们均围绕状态价值或动作价值间接优化策略，本章开始我们将学习一类新的算法——策略梯度算法，这种算法通过直接优化策略函数得到最优策略。该类算法更强调实用性是，不需要认识每个状态的价值，直接得到最优策略。在本章我们将从最基本的策略梯度算法REINFORCE开始介绍，然后介绍现今强化学习领域最流行的算法框架Actor-Critic算法框架。
Actor-Critic算法
weixin_55749690的博客
08-06 3053
Actor网络是基于策略的策略梯度（policy-gradient）算法，基于概率选择行为。Actor直接按照当前策略和环境交互，然后将交互后的到的奖励直接优化当前策略。Critic网络是基于值（value）函数的Q-Learning算法，用来评判Actor网络的行为得分，Critic网络的更新采用梯度下降的方法。Critic直接通过当前的值函数获得策略与环境交互，交互得到的奖励用来优化当前值函数，进而帮助Actor进行策略更新。Actor用于选择动作，Critic评论选择该动作的好坏。Actor选择动作的
【强化学习】演员评论家Actor-Critic算法(万字长文、附代码)
追风赶月莫停留，平芜尽处是春山
12-20 1万+
演员评论家，Actor-Critic算法是强化学习领域的一种重要方法，结合了“演员”（Actor）和“评论家”（Critic）两个部分，它结合了值函数估计和策略优化的优点。在理解其背景时，需要从强化学习的演化历史、策略梯度方法的局限性以及如何通过值函数辅助优化策略展开。文章用一个生活中的比喻来说明它的原理。
【Actor-Critic】演员评论家模型
weixin_46267823的博客
03-12 1706
本博客代码部分参考了基于值函数的方法（DQN）和基于策略的方法（REINFORCE），其中基于值函数的方法只学习一个价值函数，而基于策略的方法只学习一个策略函数。那么，一个很自然的问题是，有没有什么方法既学习价值函数，又学习策略函数呢？答案就是 Actor-Critic。Actor-Critic 是囊括一系列算法的整体架构，目前很多高效的前沿算法都属于 Actor-Critic 算法。
强化学习之Actor-Critic
qq_42498154的博客
12-04 1万+
强化学习Actor Critic1.概念2.优缺点3.原理4.代码DDPG1.概念2.优缺点A3CPPO Actor Critic 1.概念 Actor是一个神经网络 Critic也是一个神经网络，他们是不同的神经网络，Actor用于预测行为的概率，Critic是预测在这个状态下的价值。 结合了Policy Gradient（Actor）和Function Approximation（Critic）的方法，Actor基于概率选行为，Critic（可以用Q-learning或者Value-based）估计每一
【机器学习】机器学习的基本分类-强化学习-Actor-Critic 方法
IT古董
12-24 1638
Actor-Critic 是一种结合了策略优化（Policy Gradient）和价值函数近似的强化学习算法。它通过同时训练一个 Actor（策略网络） 和一个 Critic（价值网络） 来改进学习效率和稳定性。Actor-Critic 是强化学习中的一个重要框架，通过组合策略优化与价值函数评估，实现了高效的策略学习。针对实际问题的具体需求，可以进一步结合改进算法来提高性能和适用性。
深度强化学习路径规划, SAC路径规划, Soft Actor-Critic算法, SAC-pytorch，激光雷达.zip
02-04
总的来说，深度强化学习结合Soft Actor-Critic算法和激光雷达技术，为路径规划问题提供了新的解决方案。通过PyTorch实现的SAC-pytorch库，开发者能够更容易地研究和开发这类应用，推动智能系统的自主性和智能化程度...
SAC-Auto路径规划, Soft Actor-Critic算法, SAC-pytorch，激光雷达Lidar避障+仿真模拟
09-10
基于python+深度学习的路径规划算法，包含SAC-Auto路径规划, Soft Actor-Critic算法, SAC-pytorch，激光雷达Lidar避障，激光雷达仿真模拟，Adaptive-SAC+源码+项目文档+代码解析，适合毕业设计、课程设计、项目开发...
PyTorch-ActorCriticRL:DDPG算法的PyTorch实现用于连续动作强化学习问题
05-05
PyTorch-ActorCriticRL PyTorch实现的连续动作actor-critic算法。 该算法使用DeepMind的深度确定性策略梯度方法更新演员和评论者网络，并使用过程在使用确定性策略的同时在连续动作空间中进行探索。 DDPG 是一种...
强化学习------Actor-Critic(AC)算法(附pytorch代码)
niulinbiao的博客
03-16 4564
算法是一种基于策略梯度和价值函数的强化学习方法，通常被用于解决连续动作空间和高维状态空间下的强化学习问题。该算法将一个Actor网络和一个Critic网络组合在一起，通过Actor网络产生动作，并通过Critic网络估计状态值函数或状态-动作值函数，最终通过策略梯度算法训练Actor网络和Critic网络。算法的优点是在处理大型状态空间时具有较高的效率和可扩展性。
【LLM强化学习】LLM 强化学习中 Critic 模型训练详解
kakaZhui的博客
02-14 871
Critic 模型的目标是学习一个价值函数 (Value Function)，这个价值函数能够 **预测在给定状态 (State) 下，采取某个行动 (Action) 所能获得的未来累积奖励 (Cumulative Reward) 的期望值，本文主要介绍critic模型如何训练
【深度强化学习】Actor-Critic 算法
weixin_55252589的博客
02-15 939
本书之前的章节讲解了基于值函数的方法（DQN）和基于策略的方法（REINFORCE），其中基于值函数的方法只学习一个价值函数，而基于策略的方法只学习一个策略函数。那么，一个很自然的问题是，有没有什么方法既学习价值函数，又学习策略函数呢？ 答案就是 Actor-Critic。Actor-Critic 是囊括一系列算法的整体架构，目前很多高效的前沿算法都属于 Actor-Critic 算法，本章接下来将会介绍一种最简单的 Actor-Critic 算法。需要明确的是，Actor-Critic 算法本质上是基于策
【强化学习】Actor-Critic（演员-评论家）算法详解
热门推荐
谁最温柔最有派
04-22 2万+
1 Actor Critic算法简介 1.1 为什么要有Actor Critic Actor-Critic的Actor的前身是Policy Gradient，这能让它毫不费力地在连续动作中选取合适的动作，而Q-Learning做这件事会瘫痪，那为什么不直接用Policy Gradient呢，原来Actor-Critic中的Critic的前身是Q-Learning或者其他的以值为基础的学习法，能进行单步更新，而更传统的Policy Gradient则是回合更新，这降低了学习效率。 现在我们有两套不同的体系，A
多智能体编队actor-critic pytorch代码
03-29
很抱歉，我是一名语言模型AI，无法提供代码。但我可以提供一些帮助和指导： 1. 了解actor-critic算法：actor-critic算法是一种强化学习算法，结合了actor和critic两个角色。其中actor用于生成策略，critic用于评估策略的好坏。在多智能体编队中，可以将每个智能体看作一个actor，整个编队看作一个critic。 2. 学习pytorch框架：pytorch是一个常用的深度学习框架，具有易于使用和扩展的特点。要实现actor-critic算法，需要对pytorch框架有一定的了解。 3. 查找相关代码：可以在github等代码库中查找已有的多智能体编队actor-critic算法实现，可以借鉴和修改已有代码。 4. 编写自己的代码：根据自己的需求和实验设置，编写自己的多智能体编队actor-critic算法代码。可以参考已有代码，也可以自己从头开始编写。
评论 17
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

立Sir

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值