强化学习笔记4--actor critic

最新推荐文章于 2024-08-06 16:00:56 发布
最新推荐文章于 2024-08-06 16:00:56 发布
阅读量79 收藏
点赞数
文章标签： 强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41537299/article/details/120839684
版权

本文章为学习李宏毅老师视频的学习笔记，视频链接

在这里插入图片描述
采样会导致不稳定，直接估计G的期望值，用期望值代替sample的值
在这里插入图片描述
状态值函数与状态动作值函数，estimate value function --> TD比较稳，MC比较精确

在这里插入图片描述
V π ( θ ) ( s t n ) V^{\pi(\theta)}(s_t^n) Vπ(θ)(stn​)是 Q π ( θ ) ( s t n , a t n ) Q^{\pi(\theta)}(s_t^n,a_t^n) Qπ(θ)(stn​,atn​)的期望

在这里插入图片描述
在这里插入图片描述
AC
在这里插入图片描述
A3C
22:19然后也就没听了，下次见家人们

Shezzaaaa
关注
强化学习笔记6 Actor-Critic方法
m0_50338046的博客
03-13 351
之前学习了价值学习和策略学习，这篇笔记所记录的Actor-Critic方法，用到了策略网络和价值网络这两个神经网络，然后通过环境给的奖励来学习这两个网络；Actor是策略网络，用来控制agent运动，可当做运动员；Critic是价值网络，用来给动作打分，可以把它看做裁判。
《强化学习》学习笔记4—— actor-critic 算法
qq_39826457的博客
09-18 912
《强化学习》actor-critic 算法
强化学习—Actor-Critic方法
Tony Wey的博客
08-06 887
Actor-Critic方法是强化学习中的一个重要算法，通过结合策略梯度和价值函数估计的优点，能够在高维和连续动作空间中有效学习和优化策略。通过不断的发展和改进，Actor-Critic方法已经成为处理复杂强化学习问题的强大工具。
强化学习-04--actor-critic
weixin_45650561的博客
08-21 683
actor-critic
强化学习（四）—— Actor-Critic
Cyrus_May的博客
03-29 3247
强化学习（四）—— Actor-Critic1. 网络结构2. 网络结构2. 策略网络的更新-策略梯度3. 价值网络的更新-时序差分（TD）4. 网络训练流程3. 案例 1. 网络结构 状态价值函数： Vπ(st)=∑aQπ(st,a)⋅π(a∣st) V_\pi(s_t)=\sum_aQ_\pi(s_t,a)\cdot\pi(a|s_t) Vπ​(st​)=a∑​Qπ​(st​,a)⋅π(a∣st​) 通过策略网络近似策略函数: π(a∣s)≈π(a∣s;θ) \pi(a|s)\approx\
【强化学习】Actor-Critic
最忆是江南的博客
07-18 1372
目录Actor-Critic算法概述可选形式算法流程小结 强化学习笔记，内容来自刘建平老师的博客   Actor-Critic算法 概述 ​ Actor-Critic包括两部分：演员(Actor)、评价者(Critic)。其中Actor使用策略函数，负责生成动作(Action)并和环境交互，而Critic使用价值函数，负责评估Actor的表现，并指导Actor下一阶段的动作。在Policy-Gradient中，策略函数就是Actor，但是那里没有Critic，当时使用了蒙特卡罗法来计算每一步的价
强化学习笔记：Actor-critic
qq_40206371的博客
11-30 1569
0 复习 由于actor-critic 是 policy gradient 和DQN的一个结合，所以我们先对这两个进行一个简单的复习： 0.1 policy gradient 强化学习笔记：Policy-based Approach_UQI-LIUWJ的博客-CSDN博客 在policy network中，我们使用梯度上升的方法更新参数。梯度计算方法如下：（这里的N是采样次数，我们为了更新θ，采样N次） 这个式子是在说，我们先让 agent 去跟环境互...
【强化学习的数学原理-赵世钰】课程笔记（十）Actor-Critic 方法
qq_64671439的博客
04-19 1360
万字长文，环环相扣，详细介绍强化学习的 policy gradient 方法， Actor-Critic 方法和 DPG,DDPG方法，会持续更新
深度强化学习Actor-Critic的更新逻辑梳理笔记
hehedadaq的博客
01-15 2530
深度强化学习Actor-Critic的更新逻辑梳理笔记 文章目录深度强化学习Actor-Critic的更新逻辑梳理笔记前言：Actor-Critic架构简介：critic的更新逻辑actor的更新逻辑： 前言： 前几天在给师弟讲actor-critic架构更新逻辑的时候，actor的优化逻辑我卡了好一会儿，最终也没有完整的把逻辑梳理出来，今天刚好趁着脑子清醒，把之前的PPT拿出来，借着PPT的内容，将AC架构的更新逻辑说明白，特此做一个笔记。 Actor-Critic架构简介： 关于AC架构，还是简单的说说
【笔记2-4】李宏毅深度强化学习笔记（四）Actor-Critic
cindy_1102的博客
02-27 8254
李宏毅深度强化学习- Actor-CriticAsynchronous Advantage Actor-Critic (A3C)Review – Policy GradientReview – Q-LearningActor-CriticPathwise Derivative Policy Gradient 李宏毅深度强化学习课程 https://www.bilibili.com/video/a...
深度强化学习 _Actor-Critic 王树森课程笔记
weixin_44005728的博客
05-18 993
深度强化学习_Actor-Critic 王树森课程笔记
强化学习经典算法笔记(十五)：Soft Actor-Critic算法实现
hhy_csdn的博客
07-09 6664
强化学习经典算法笔记(十五)：Soft Actor-Critic算法实现 算法简介 Soft Actor Critic，SAC算法是一种Off-policy算法，相比于PPO这种On-policy算法，sample efficiency有了提高，相比于DDPG及其变种D4PG，SAC又是一种随机策略算法。 SAC算法是在最大熵强化学习（Maximum Entropy Reinforcement Learning）的框架下构建起来的，目的是让策略随机化，好处是对于机器人控制问题非常友好，甚至可以在真实环境中使
前端初始化资源包初始化前端
10-01
.....................
vmware ubuntu22.04安装教程.docx
最新发布
10-01
vmware ubuntu22.04安装教程
语音处理相关的代码------matlab实现_______________开箱即用_soundProcess.zip
10-01
语音处理相关的代码------matlab实现_______________开箱即用_soundProcess
numpy-2.1.1-cp313-cp313t-macosx-14-0-x86-64.whl
10-01
numpy
用于用户故事分类的数据集_UserStoriesDataSet-.zip
10-01
用于用户故事分类的数据集_UserStoriesDataSet-
Java实现逻辑回归（对iris数据集分类）_LogisticRegression.zip
10-01
Java实现逻辑回归（对iris数据集分类）_LogisticRegression
深度强化学习：Soft Actor-Critic算法详解与入门
Soft Actor-Critic (SAC) 是一种基于深度强化学习 (Deep Reinforcement Learning, DRL) 的模型-free算法，它在原始论文《Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor》中首次...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值