Value-based vs Policy-based Reinforcement Learning

于 2023-08-14 16:38:57 发布
阅读量100 收藏
点赞数
分类专栏： Reinforcement Learning 文章标签： 强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qingmuluoyang/article/details/132278965
版权
1. Policy-based Reinforcement Learning

Suppose we have a good policy \pi(a|s).

Upon observing the stats s_{t},

random sampling: a_{t}~\pi(.|s_{t}).

2. Policy-based Reinforcement Learning

Suppose we know the optimal action-value function Q^{*}(s,a).

Upon observe the state s_{t},

choose the action that maximizes the value:  a_{t} = argmax_{a}Q^{*}(s_{t},a).

3. Summary

The objective of Reinforcement Learning is to learn good policy \pi(a|s) and/or optimal action-value function Q^{*}(s,a).

No Knownledge
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Reinforcement learning合集
04-25
Deep Reinforcement Learning Hands-On_ Apply modern RL methods, with deep Q-networks, value iteration, policy gradients, TRPO, AlphaGo Zero and more.pdf Hands-On Reinforcement Learning with Python_ ...
Statistical Reinforcement Learning
12-16
This book by Prof....of these categories, there are policy iteration algorithms which estimate value functions, and policy search algorithms which directly manipulate policy parameters
Value-based Reinforcement Learning
南极光的专栏
03-19 1807
不久前做了一个关于value-based RL相关的slides，主要讲解了基于值的强化学习方法的几个重要理论方法，同时讲解了Q-learning作为off-policy方法在学习过程中产生的bias的来源已经如何减轻的几种方法。 源文件： Github 讲义： PDF...
强化学习RL 02: Value-based Reinforcement Learning
天狼啸月1990的博客
02-27 673
DQN和TD更新算法。
强化学习RL 03: Policy-based Reinforcement Learning
天狼啸月1990的博客
02-27 473
用一个神经网络来近似策略函数π。
Value-based and Policy-gradient Reinforcement Learning
qingmuluoyang的博客
07-19 440
强化学习；深度学习
【强化学习-02】Value-based reinforcement learning
HsinglukLiu的博客
01-27 548
Value-based reinforcement learningValue-based reinforcement learningAction-value functionsDeep Q Network (DQN)训练神经网络的算法：`Temporal difference algorithm`一个例子Apply TD learning to DQNSummary参考文献 本文整理自教学视频 (作者: Shusen Wang)：https://www.bilibili.com/video/BV1rv4
Traffic light control using deep policy-gradient and value-function-based reinforcement learning
我的python学习笔记
03-08 1463
ISSN 1751-956X 等级：IET Intelligent Transport Systems 交通科学，技术 三区 作者：Seyed Sajad Mousavi1 , Michael Schukat1, Enda Howley Abstract: Recent advances in combining deep neural network architectures with reinforcement learning (RL) techniques have shown prom.
Reinforcement Learning（三）：Policy-Based
qq_38156104的博客
08-09 261
Policy Function Can we directly learn a policy function？ Policy Network State-Value Function Approximation Policy-Based Reinforcement Learning Policy Gradient 得到两种形式的策略梯度： 这个方法不适合连续的情况。 这种方法的好处是也适用于离散动作。 Update policy ne
Value-Based Reinforcement Learning-DQN
CltCj的博客
08-11 6935
强化学习 这一章会讲DQN算法，并且用TD算法来训练DQN。 强化学习入门这一篇就够了强化学习前言一、Action-Value Functions二、DQN2.1 游戏中agent的目标是什么？2.2 agent如何做决策？2.3 如何理解Q* 函数呢？2.5 DQN打游戏？三、如何训练DQN?3.1 TD算法3.2 TD算法训练DQN四、训练步骤六、总结 前言 说明一下：这是我的一个学习笔记，课程链接如下： 最易懂的强化学习课程 公众号：AI那些事 一、Action-Value Functio
【RLchina第四讲】Model-Based Reinforcement Learning
小小何先生的学习之旅
02-23 2563
文章目录Model-Based Reinforcement learningModel-Free RL V.S. Model-Based RLModel-Based RL：Blackbox and WhiteboxIntroduction to MBRL from DynaShooting methods：RS，PETS，POPLINRandom Shooting(RS)PETS：Probabilistic Ensembles with Trajectory SamplingPOPLINTheoretic
Reinforcement Learning.pptx
06-18
RL的主要方法包括模型基学习（Model-based RL）和模型自由学习（Model-free RL），以及值函数近似（Value-based RL）和策略基学习（Policy-based RL）： 1. 模型基学习：试图先学习环境的状态转移和奖励函数，然后...
reinforcement learning
05-08
- **基于值的算法(Value-based Algorithms)**：如Q-learning和SARSA，它们通过估计状态或状态-动作对的价值来指导决策。 - **基于策略的算法(Policy-based Algorithms)**：直接优化策略函数，如REINFORCE和Actor-...
Deep Reinforcement Learning for Robotic Arm Control: A Survey
03-03
"Deep Reinforcement Learning for Robotic Arm Control: A Survey" 本_survey_论文旨在对基于深度强化学习（DRL）的机械臂控制进行综述。深度强化学习是一种智能体与环境的交互学习策略，在解决复杂决策问题上表现...
使用 React 和 Redux 进行井字游戏并附带源代码.zip
最新发布
07-24
项目：使用 React 和 Redux 进行井字游戏并附带源代码 使用 react 和 redux 的井字游戏是一个简单的 react 项目。整个项目都是使用 react components 和redux制作的。游戏很简单，玩法也很多。要运行此项目，您必须先安装 NodeJS。 关于项目 井字游戏反应而 redux 是使用ReactJS开发的。说到这个游戏，它具有高级功能和游戏玩法。要运行此项目，首先，您必须安装费用到您的系统。然后运行npm安装然后开始运行npm开始。游戏启动后，您可以选择不同的游戏选项。您还可以选择所需的网格框数量。此外，您还可以选择对手的类型。 要运行此项目，您需要 在计算机上安装NodeJS 并使用现代浏览器，例如 Google Chrome、  Mozilla Firefox。 演示： 该项目为国外大神项目，可以作为毕业设计的项目，也可以作为大作业项目，不用担心代码重复，设计重复等，如果需要对项目进行修改，需要具备一定基础知识。 注意：如果装有360等杀毒软件，可能会出现误报的情况，源码本身并无病毒，使用源码时可以关闭360，或者添加信任。
使用 JavaScript 编写的专注力游戏（附源代码）.zip
07-24
项目：JavaScript 中的专注力游戏（附源代码） 专注力游戏是一个使用 JavaScript、CSS 和 HTML 开发的简单项目。这款游戏很有趣。玩家必须点击移动的框并获得分数。要点击正确的位置，玩家需要在这个游戏中集中注意力。这款游戏可以帮助玩家练习以进一步增强他们的专注力。 游戏制作 这个游戏项目仅使用 HTML、CSS 和 JavaScript。说到这个游戏的特点，用户必须单击移动框并得分。游戏有三种模式：简单、中等和困难。游戏的 PC 控制非常简单。您只需使用光标单击移动框的碎片即可。 该游戏包含大量的 javascript 以确保游戏正常运行。 如何运行该项目？ 要运行此游戏，您不需要任何类型的本地服务器，但需要浏览器。我们建议您使用现代浏览器，如 Google Chrome 和 Mozilla Firefox。要玩游戏，首先，单击 index.html 文件在浏览器中打开游戏。 演示： 该项目为国外大神项目，可以作为毕业设计的项目，也可以作为大作业项目，不用担心代码重复，设计重复等，如果需要对项目进行修改，需要具备一定基础知识。 注意：如果装有360等杀毒软件，可能会出现误报的情况，源码本身并无病毒，使用源码时可以关闭360，或者添加信任。
人脸识别方案资料61EDA-C1590.zip
07-24
人脸识别方案资料61EDA_C1590.zip
316、基于DK124设计的离线式开关电源设计12V 2A（原理图、PCB图、BOM表、设计说明）
07-24
316、基于DK124设计的离线式开关电源设计12V 2A（原理图、PCB图、BOM表、设计说明） 该设计为DK124控制的开关电源，实现12V 2A输出； 功能： 1、使用DK124核心控制； 2、反激式开关电源拓扑设计； 3、实现12V 2A输出； 4、市电输入； 5、整流、滤波、变压器等电路； 6、原理图、PCB图、BOM表、设计说明；
DMRO: A Deep Meta Reinforcement Learning-Based Task Offloading Framework for Edge-Cloud Computing
04-08
ChitGPT: DMRO is an interesting Deep Meta Reinforcement Learning-Based Task Offloading Framework for Edge-Cloud Computing. It proposes a solution to optimize resource allocation based on a ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值