策略学习(Policy-Based Reinforcement Learning)

于 2023-08-13 22:23:12 发布
阅读量264 收藏
点赞数
分类专栏： Reinforcement Learning 文章标签： 学习 强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qingmuluoyang/article/details/132265483
版权
本文介绍了PolicyFunction，一种处理状态输入并输出所有可能动作概率的密度函数，以及如何使用PolicyNetwork通过神经网络近似策略(a|s)，特别提到了softmax激活在确定动作分布中的作用。参考了YouTube视频资源提供更深入的理解。
摘要由CSDN通过智能技术生成
1. Policy Function \pi(a|s)
  1. Policy function \pi(a|s) is a probability density function.
  2. It takes state s as input.
  3. It output the probabilities for all the actions, e.g., \pi(left|s) = 0.2; \pi(right|s) = 0.1;\pi(up|s) = 0.7.
  4. The agent performs an action a random drawn from the distribution.
2. Policy Network \pi(a|s,\theta)

Policy network: Use a neural net to approximate \pi(a|s).

  1. Use policy network \pi(a|s,\theta) to approximate \pi(a|s).
  2. \theta: trainable parameters of the neural net.

关于上图：

  1. \sum_{a\in \wp }^{}\pi(a|s;\theta )=1
  2. Here, \wp={"left", "right", "up"} is the set of all actions.
  3. That is why we use softmax activation.

 

References

[1] https://www.youtube.com/watch?v=qI0vyfR2_Rc

No Knownledge
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
强化学习笔记：policy learning
qq_40206371的博客
05-27 1991
1 policy network VS value-based network 2 policy network的目标函数 记回报 Ut 是从 t 从时刻开始的所有奖励之和。 Ut 依赖于 t 时刻开始的所有状态和动作： 动作价值函数把 t 时刻状态 st 和动作 at 看做已知观测值，把 t + 1 时刻后的状态和动作看做 未知变量，求期望： 状态价值函数把 t 时刻状态 st 看做已知观测值，t时刻的action是服从策略的随机变量，对其求期望 .....
强化学习（一）：基础知识
zhm2229的专栏
08-07 3143
强化学习是什么 我们先通过图一的三种方法的对比来看看强化学习和其他方法的差异是什么： 图一.各种学习算法 有监督学习（supervised learning）： 它的数据都是有标签y的。比如手写数字分类问题中，输入的是手写数字的图片，标签就是这个图片属于的类别，比如所有数字0的类别是0，这样手写数字集会有10个类别，0-9就是它的标签。 有监督学习的目标就是对于输入数据x，预测出它所属...
强化学习（三）—— 策略学习（Policy-Based）及策略梯度（Policy Gradient）
Cyrus_May的博客
03-29 1896
强化学习（三）—— 策略学习（Policy-Based）及策略梯度（Policy Gradient）1. 策略学习2. 策略梯度3. 案例 1. 策略学习 Policy Network 通过策略网络近似策略函数 π(a∣st)≈π(a∣st;θ) π(a|s_t)≈π(a|s_t;\theta) π(a∣st​)≈π(a∣st​;θ) 状态价值函数及其近似 Vπ(st)=∑aπ(a∣st)Qπ(st,a) V_π(s_t)=\sum_aπ(a|s_t)Q_π(s_t,a) Vπ​(st​)=a∑​π(a∣
CS285课程笔记（3.2(2)）—— Model-Based方法之Model Learning, Policy Learning
One step, One punch
03-28 714
1
Reinforcement Learning-Based Control for Unmanned Aerial Vehicles
01-20
In this paper, we propose a reinforcement learning-based control framework to prevent unauthorized UAVs from entering a target area in a dynamic game without being aware of the UAV attack model....
Game-based-deep-reinforcement-learning-for-target-tracking
03-28
【标题】"Game-based-deep-reinforcement-learning-for-target-tracking" 【描述】"基于游戏的深度强化学习，用于目标跟踪"是一种将机器学习技术应用于计算机视觉领域的创新方法。该技术结合了游戏环境模拟和深度...
Hands-On-Reinforcement-Learning-With-Python-master.zip
06-12
在《Hands-On Reinforcement Learning with Python》这个项目中，作者提供了丰富的实践教程，帮助读者深入理解并应用强化学习算法。 本项目主要包含以下几个核心知识点： 1. 强化学习基础：介绍强化学习的基本概念...
Statistical Reinforcement Learning - Modern Machine Learning Approaches
11-22
It covers various types of RL approaches, including model-based and model-free approaches, policy iteration, and policy search methods. Covers the range of reinforcement learning algorithms from a ...
增强学习算法 Algorithms for Reinforcement Learning
08-30
6. **Model-Based Reinforcement Learning**：与无模型学习相反，模型基学习算法首先尝试学习环境的动态模型，然后利用这个模型来规划或优化策略。例如， Dyna-Q 结合了Q-Learning和模型学习，提高了学习效率。 7. ...
Reinforcement learning合集
04-25
this file contains:Advanced Deep Learning with Keras_ Apply deep learning techniques, autoencoders, GANs, variational autoencoders, deep reinforcement learning, policy gradients, and more (2018, Packt...
Reinforcement-Learning-Resources-and-Code
03-21
在"Reinforcement-Learning-Resources-and-Code"这个压缩包中，很显然，我们能够找到一系列关于强化学习的学习资料和实际代码示例，特别关注的是Python编程语言的应用。 Python是数据科学和机器学习领域广泛使用的...
Reinforcement Learning.pptx
最新发布
06-18
增强学习（Reinforcement Learning，RL）是一种人工智能学习方法，其核心目标是让智能系统通过与环境的交互，学习如何做出最优的决策序列以最大化累积奖励。在这个过程中，智能体（agent）并不需要预先知道环境的...
Deep_Reinforcement_Learning：深度强化学习项目的集合
02-26
在"Deep_Reinforcement_Learning-main"这个项目中，我们可以期待看到以下一些关键知识点的实现： 1. **Q-Learning**: 是一种离策略的强化学习算法，它通过更新Q值来学习最优策略。DQN（Deep Q-Network）是Q-...
强化学习与自适应动态规划-RL and ADP
06-02
RL算法通常分为两类：基于值的（value-based）和基于策略的（policy-based）。前者如Q-learning，通过估计动作值函数来寻找最优策略；后者如策略梯度，直接优化策略参数以最大化期望回报。 自适应动态规划（ADP）则...
强化学习： On-Policy与 Off-Policy 以及 Q-Learning 与 SARSA
Call Me Hi Johnny~~
10-13 6803
刚接触强化学习，都避不开On Policy 与Off Policy 这两个概念。其中典型的代表分别是Q-learning 和 SARSA 两种方法。这两个典型算法之间的区别，一斤他们之间具体应用的场景是很多初学者一直比较迷的部分，在这个博客中，我会专门针对这几个问题进行讨论。 以上是两种算法直观上的定义。 我们都称 Q-Learning 是 Off Policy . SARSA 是 On Pol...
强化学习4——无模型控制model-free control （On-Policy learning：Sarsa和Off-policy learning：Q-learning）
渣渣屋
12-14 1112
文章目录前言无模型控制问题思路方法On-Policy learningMCSarsaOff-policy learningQ-learningOn-Policy learning 和 Off-policy learning的区别 前言 本文是学习周博雷老师的强化学习课程的心得体会。 雷大佬的GItHub 无模型控制 问题 ​ 当我们不知道 MDP 模型的情况下，如何优化价值函数，得到最佳的策略。 思路 ​ 这里和有模型的控制策略的估计有一个不同是，我们这里使用MC方法来估算Q函数。其余的和无模型的控制是一样
强化学习(五)：Sarsa算法与Q-Learning算法
热门推荐
01-21 2万+
上一节主要讲了Monte-Carlo learning，TD learning，TD(λ)TD(\lambda)。这三个方法都是为了在给定策略下来估计价值函数V(s)。只不过Monte-Carlo learning需要得到一个完整的episode才能进行一次v值更新，而TD learning则不用，它可以每走一步就更新一次v值。 但是我们的目标是想得到最优策略，所以我们这一讲就是为了通过价值函数
强化学习Q learning与policy gradient
mykeylock的博客
09-07 5369
开始学习强化学习： 包括alphago等都是强化学习的典型。 最典型的强化学习的算法为Q learning，这个算法的简介博客： https://www.zhihu.com/question/26408259 目前只是明白了Q learning的算法，还有很多要学习的。
development of multi-agent reinforcement learning
03-30
Multi-agent reinforcement learning (MARL) is a subfield of reinforcement learning (RL) that involves multiple agents learning simultaneously in a shared environment. MARL has been studied for several ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值