强化学习很多ac架构的算法比如ppo，为什么使用状态价值网络而不使用动作价值网络实现critic呢?｜状态价值网络的优势与挑战｜Actor-Critic｜状态价值｜强化学习

于 2024-09-24 10:40:08 发布
阅读量41 收藏
点赞数
分类专栏： 人工智能 文章标签： 算法 人工智能 架构
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/concisedistinct/article/details/142483197
版权

目录

1. 强化学习的基础

1.1 策略与价值函数

2. Actor-Critic架构概述

2.1 Critic的作用

3. 为什么选择状态价值网络？

3.1 训练稳定性

3.2 计算效率

3.3 高维动作空间的适应性

4. 使用状态价值网络的挑战

4.1 收敛速度

4.2 欠拟合风险

5. 解决方案与未来方向

5.1 改进的状态价值网络

5.2 结合动作价值和状态价值

6. 结论

随着强化学习技术的不断发展，其在诸如游戏、机器人控制和金融预测等领域的应用越来越广泛。Actor-Critic架构作为一种重要的强化学习算法，凭借其独特的策略与价值函数的结合方式，展现出强大的学习能力。在这一架构中，Critic的角色至关重要，直接影响到策略的更新和学习效率。然而，在众多算法中，为何Critic通常选择状态价值网络而非动作价值网络？这个问题不仅涉及到算法设计的技术细节，更关乎到强化学习在复杂任务中实现有效学习的能力。

1. 强化学习的基础

强化学习是一种通过与环境的交互来学习最优策略的机器学习方法。其基本组成包括代理（Agent）、环境（Environment）、状态（State）、动作（Action）和奖励（Reward）。在

了解本专栏 订阅专栏 解锁全文 超级会员免费看
concisedistinct
关注
专栏目录
订阅专栏
强化学习算法TD3论文的翻译与解读：延迟学习、软更新、策略噪声、梯度截取
丨汀、的博客
07-15 1625
强化学习算法TD3论文的翻译与解读：延迟学习、软更新、策略噪声、梯度截取
强化学习AC框架
君子不器
12-01 3812
import gym import tensorflow as tf import numpy as np import random from collections import deque # Hyper Parameters GAMMA = 0.95 # discount factor LEARNING_RATE=0.01 class Actor():# PI def __init__(self, env, sess): # init some parameters ..
在强化学习领域最受欢迎的A3C算法，DDPG算法，PPO算法等都是AC框架
caoyongsheng的博客
07-14 2万+
AC算法框架被广泛应用于实际强化学习算法中，该框架集成了值函数估计算法和策略搜索算法，是解决实际问题时最常考虑的框架。大家众所周知的alphago便用了AC框架。而且在强化学习领域最受欢迎的A3C算法，DDPG算法，PPO算法等都是AC框架。我们这一讲便总结下AC算法的发展并介绍目前最受关注的A3C算法和PPO算法。本讲的内容包括：1.1 策略梯度的直观解释1.2 Actor-Critic框架引出...
强化学习之AC系列算法（AC、A2C、A3C）
qq_43838114的博客
10-18 4717
强化学习之AC系列算法（AC、A2C、A3C）
强化学习：Actor-Critic (AC)算法
qq_50086023的博客
06-28 1743
强化学习：Actor-Critic (AC)算法
强化学习中的 AC（Actor-Critic）、A2C（Advantage Actor-Critic）和A3C（Asynchronous Advantage Actor-Critic）算法
QHCV的博客
11-18 2690
强化学习中的 A2C（Advantage Actor-Critic）算法是一种结合了演员-评论家（Actor-Critic）框架和优势函数（Advantage Function）的方法。A3C（Asynchronous Advantage Actor-Critic）算法是一种高效的强化学习方法，由 DeepMind 提出，主要用于解决决策问题。A3C 算法由于其高效性和适应性，在复杂的强化学习任务中被广泛应用，如游戏玩家、机器人控制等。然而，它的实现比 A2C 更为复杂，需要合理的资源分配和网络结构设计。
基础算法篇（六），基于AC框架的PPO算法
samurasun的博客
09-01 6965
我们上一章给大家介绍了经典的策略梯度（PG）算法，但这个经典算法存在两个问题： 一是需要完整序列 我们根据强化学习的目标“最大化总收益”而得到的公式中包含R(τ)=∑t=1TrtR\left(\tau\right)=\sum_{t=1}^Tr_tR(τ)=∑t=1T​rt​，就算我们对其进行添加基线、改变收益计算方式等，都还是没有脱离从ttt时刻起，需要后续所有收益这一问题，这一方法类似于我们在“基础算法篇（二），蒙特卡洛方法解决Model-Free强化学习问题”讲的方法，而这对强化学习本身来说，是很难
【强化学习】揭开PPO2算法的神秘面纱（一）
LiuZ的博客
02-01 1万+
PPO受到与TRPO相同的问题的启发：我们如何才能使用当前拥有的数据在策略上采取最大可能的改进步骤，而又不会走得太远而导致意外导致性能下降？在TRPO试图通过复杂的二阶方法解决此问题的地方，PPO使用的是一阶方法，它使用其他一些技巧来使新策略接近于旧策略。PPO方法实施起来非常简单，而且从经验上看，其性能至少与TRPO相同。其次PPO算法也是AC架构。
在线学习的深度强化学习——Online Reinforcement Learning for Learning
AI天才研究院
09-01 2463
在人工智能和机器学习领域，深度强化学习（Deep Reinforcement Learning，DRL）已经成为一个备受关注的研究方向。传统的强化学习方法在处理高维状态空间和复杂决策问题时往往力不从心，而深度强化学习通过结合深度学习的强大表示能力，极大地扩展了强化学习的应用范围。然而，在实际应用中，我们常常面临着动态变化的环境和持续输入的数据流，这就要求学习算法能够实时地适应新的情况，不断调整和优化决策策略。在线学习（Online Learning）作为机器学习的一个重要分支，专门解决在。
强化学习：随机策略梯度，AC家族（AC，A2C，A3C）
燕双嘤
03-29 7117
1，随机策略梯度 1.1，简介 离散动作和连续动作： （1）要输出离散动作的话，我们就是加一层 softmax 层来确保说所有的输出是动作概率，而且所有的动作概率加和为 1。 （2）要输出连续动作的话，一般可以在输出层这里加一层 tanh。 tanh 的图像的像右边这样子，它的作用就是把输出限制到 [-1,1] 之间。拿到这个输出后，就可以根据实际动作的范围再做一下缩放，然后再输出给环境。 比如神经网络输出一个浮点数是 2.8，然后经过 tanh 之后，它就可以被限制在 [-1,1] 之间
强化学习（AC&A3C）
最新发布
weixin_42209537的博客
01-31 1179
global network下面有n个worker线程，每个线程里有和公共的神经网络一样的网络结构，每个线程会独立的和环境进行交互得到经验数据，线程之间互不干扰，独立运行。每个线程和环境交互到一定量的数据后，就计算在自己线程里面的神经网络损失函数的梯度，但是这些梯度并不更新自己先线程里的神经网络，而是去更新公共的神经网络。A3C中可以将两个网络放到一起，输入状态s，可以输出状态价值和策略，也可以将actor网络和critic网络独立开，分别处理。输入：迭代次数T，状态特征维度n，动作集A，步长。
03 强化学习——Actor-Critic(AC)基础篇（TD-AC）
风雨潇潇一书生
12-04 4496
一、算法描述 根据上一章PG算法可以得知对于策略梯度下降的方法我们关注的是： 因此从广义的策略理论上，策略梯度可以写成： 可以表示为一下几种 1、，轨迹的总回报。 2、，动作后的总汇报（从该动作往后算，可以看成前期的对后面没有影响） 3、，加入基线的累计回报 4、，状态-值函数 5、，优势函数 6、，TD误差 将广义的策略梯度分开来看，是一个评价器（critic），评估策略的好坏（策略为actor），在PG中使用的是一条轨迹的累计回报来评价策略的好坏，但这种评价比较粗糙，不够精确
强化学习之AC、A2C和A3C
小星AI
09-03 1万+
阅读本文可参考我以前的文章《强化学习实践教学》https://tianjuewudi.gitee.io/2021/07/16/qiang-hua-xue-xi-shi-jian-jiao-xue/#toc-heading-29，其中的连续动作空间上求解RL章节是本文的基础，其中的DDPG和Actor-Critic除了Target网络外其余都一致。 首先，A2C的全称是Advantage Actor Critic，而A3C是Asynchronous Advantage Actor Critic，A2C源自A3
强化学习实战系列(2020最新)
08-28
强化学习系列课程主要包括经典算法原理讲解与案例实战两大部分。通俗讲解当下主流强化学习算法思想，结合实例解读算法整理应用流程并结合案例展开代码实战。整体风格通俗易懂，适合准备入门强化学习并进阶提升的同学们。
强化学习之Actor-Critic (AC, A2C, A3C, DDPG)
weixin_42863507的博客
03-19 3093
目录1. Review Policy Gradient2. Review Q-learning3. Actor-Critic4. Advantage Actor-Critic5. A2C解决CartPole-v11）构建actor和critic2）算法总体流程3）从概率分布选择动作4）Critic学习5）Actor学习6. A3C7. PDPG (Pathwise Derivative Policy Gradient)8. DDPG (Deep Determistic Policy Gradient)9.
【强化学习】Actor-Critic算法详解
热门推荐
shura的技术空间
06-22 10万+
https://morvanzhou.github.io/tutorials/machine-learning/reinforcement-learning/6-1-actor-critic/ http://www0.cs.ucl.ac.uk/staff/d.silver/web/Teaching.html 【强化学习】Actor-Critic详解 之前在强化学习分类中，我们...
强化学习算法：AC系列详解
KunBB的博客
03-21 2万+
文章目录ACA2CA3C AC A2C A3C
基于PPO梯度优化、AC框架的强化学习——离散动作怎么用
青春正年少我要大声笑lamusique
03-21 3615
【强化学习】⚠️手把手带你走进强化学习 2⚠️ OPP 算法实现月球登陆器 (PyTorch 版)_我是小白呀的博客-CSDN博客
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

concisedistinct

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值