强化学习三 || 策略学习

最新推荐文章于 2024-06-09 10:52:59 发布
最新推荐文章于 2024-06-09 10:52:59 发布
阅读量895 收藏 2
点赞数
文章标签： 学习 机器学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_56039091/article/details/123025239
版权

强化学习三 || 策略学习

策略函数 π(a|s)，它的输入是状态s，输出是一个概率分布，给每一个动作a一个概率值，如下图，就会输出一个三维向量，这三个动作都有可能被抽到，只不过概率有大有小

image-20220213123318590

假如一个游戏只有5个状态，10个动作，我们画一张 5*10的表，表里面每一个格子表示一个概率

我们用神经网络来近似π函数，称之为策略网络 π(a|s;θ)

image-20220213123932214

回顾一下 V 函数

image-20220213124807181

现在我们用神经网络来近似V函数，其实就是用近似的π函数来代替原公式的π函数

image-20220213125018211

V函数可以评估状态s 和策略 π的好坏

image-20220213203306584

我们再在V函数中对 s 求期望消掉 s ，得到 J(Θ) 对 J(Θ) 用策略梯度算法来求最优值

策略梯度算法

image-20220213203629293

这是一个梯度上升算法，β是学习率

推导公式

image-20220213204006784

image-20220213204413422

image-20220213204731736

image-20220213204922270

对于离散的动作——采用累加的方式

image-20220213205757576

对于连续的动作——采用积分的方式

由于π函数是一个神经网络，参数较多，无法直接做积分；所以我们采用蒙克卡罗近似（用一个或多个随机样本来近似期望）来 得到该积分的近似值

image-20220213210141383

从π函数中随机抽出一个动作 a_pred

image-20220213210353230

算出 g(a_pred,Θ)的值 ，这个值就是 无偏估计

image-20220213210540855

image-20220213211422783

image-20220213211510910

采用梯度上升，目的让 V函数变大

image-20220213212150491

总结

image-20220213212443595

Anthony_CH
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
《强化学习》学习笔记3——策略学习
qq_39826457的博客
09-11 702
策略学习的目的是获得一个尽可能优的策略函数，使得的这个策略函数在能够取得尽可能大的未来累计回报。我们需要构建一个模型去描述这个策略函数，在训练模型的过程中，需要有一个评价函数来量化评价策略函数的好坏，同时评价结果的反馈可以用于策略函数模型的参数修正。
强化学习(一)：简介——什么是强化学习？
热门推荐
Woody的博客
01-22 9万+
本文将介绍强化学习的基本含义，了解什么是强化学习、强化学习的概念与基本框架以及强化学习中常见的问题类型。 什么是强化学习？ 强化学习（Reinforcement Learning, RL），又称再励学习、评价学习或增强学习，是机器学习的范式和方法论之一，用于描述和解决智能体（agent）在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题。 以上是百度百科中对强化学习的描述，从这样一句话中我们能捕捉到几点信息： 强化学习是一种机器学习方法 强化学习关注智能体与环境之间的交互 强化学..
强化学习笔记---强化学习基本概念
qq_52200582的博客
03-09 6832
王树森强化学习笔记
强化学习Reinforcement Learning与逆强化学习：理论与实践
最新发布
AI大模型应用之禅
06-09 805
引言 在当今的科技领域，强化学习（Reinforcement Learning，RL）以其独特的智能探索机制，成为解决复杂决策问题的热门技术之一。而逆强化学习（Inverse Reinforcement Learning，IRL）则是从行为中学习环境奖励函数的一种方法，二者都属于机器学习的范畴，但侧重点不同。本文将深入探讨强化学习与逆强化学习的核心概念、算法
【Machine Learning 系列】一文带你详解什么是强化学习(Reinforcement Learning)
陈橘又青的博客
07-31 2万+
强化学习（Reinforcement Learning）的目标是通过与环境的交互来学习如何做出最优的决策。随着深度学习和强化学习的结合，强化学习在解决复杂问题上的能力将不断提升，为人工智能的发展带来更多的可能性。
简要介绍 | 强化学习：从原理到应用
NLOS的博客
06-17 9191
它的核心思想是让智能体 (Agent) 在执行动作 (Action)、观察环境 (Environment) 反馈的状态 (State) 和奖励 (Reward) 的过程中，学习到一个最优策略 (Optimal Policy)，从而实现长期累积奖励最大化。深度强化学习通过结合深度学习 (Deep Learning) 和强化学习，利用神经网络 (Neural Network) 作为函数逼近器 (Function Approximator)，可以处理具有复杂状态空间的问题。值迭代通过迭代更新价值函数。
什么是强化学习
金戈鐡馬
11-21 3777
强化学习（reinforcement learning，RL） 讨论的问题是智能体（agent）怎么在复杂、不确定的环境（environment）中最大化它能获得的奖励。如图 1.1 所示，强化学习由两部分组成：智能体和环境。在强化学习过程中，智能体与环境一直在交互。智能体在环境中获取某个状态后，它会利用该状态输出一个动作 （action），这个动作也称为决策（decision）。然后这个动作会在环境中被执行，环境会根据智能体采取的动作，输出下一个状态以及当前这个动作带来的奖励。
基于强化学习得股票策略系统.zip
05-11
它主要用于描述和解决智能体（agent）在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题。强化学习的特点在于没有监督数据，只有奖励信号。 强化学习的常见模型是标准的马尔可夫决策过程...
强化学习策略梯度
04-02
强化学习是一种人工智能领域的学习方法，它让智能体通过与环境的交互来优化其行为策略，以最大化长期奖励。策略梯度是强化学习中的一种算法，主要用于优化策略参数，即智能体选择行动的概率分布。本篇文章将深入探讨...
多智能体强化学习Simulink模型
02-06
这种“无缝热插拔”能力对于快速验证和测试不同的强化学习策略至关重要。 在多智能体强化学习中，每个智能体通过与环境和其他智能体的交互，学习如何最大化长期奖励。关键概念包括： 1. **策略**：每个智能体都有...
深度强化学习的调度策略优化算法
06-19
深度强化学习的调度策略优化算法 https://github.com/xwhan/walk_the_blocks
深度强化学习基础知识 思维导图
05-15
强化学习基本概念 基本方法（Value-Based、Policy-Based、Actor-Critic） 策略学习（Reinforce with baseline、A2C） 价值学习（Sarsa、Q-Learning（DQN）） 连续动作控制（DPG、DDPG） 包含上述各种基本算法的原理...
强化学习（Q-learning）
dzcera的博客
01-22 3万+
强化学习RF简介 强化学习是机器学习中的一种重要类型，一个其中特工通过 执行操作并查看查询查询结果来学习如何在环境中表现行为。 机器学习算法可以分为3种：有监督学习（Supervised Learning）、无监督学习（Unsupervised Learning）和强化学习（Reinforcement Learning），如下图所示： 有监督学习、无监督学习、强化学习具有不同的特点： 有监督学习是有一个label（标记）的，这个label告诉算法什么样的输入对应着什么样的输出，常见的算法是分类、回归等；
强化学习介绍
b站：https://space.bilibili.com/36070349?spm_id_from=333.1007.0.0 知乎：https://www.zhihu.com/people/li-shao-zhuo-19
05-24 5996
文章目录1 什么是强化学习？2 强化学习的特征与特点3 强化学习的要素与框架3.1 Policy3.2 Reward3.3 Value3.4 model3.5 Return(cumulative future reward) 回报|未来累积回报3.6 Discounted return 折扣回报4 强化学习流程5 例子 马里奥 （一定要看）5.1 定义5.2 policy5.3 reward5.4 状态转移 state transition5.5 agent与环境交互6 强化学习的随机性6.1 动作随机性6
一文了解强化学习
qunnie_yi的博客
06-12 6358
作者：不会停的蜗牛 CSDN AI专栏作家 强化学习非常重要，原因不只在于它可以用来玩游戏，更在于其在制造业、库存、电商、广告、推荐、金融、医疗等与我们生活息息相关的领域也有很好的应用。本文结构： 定义 和监督式学习, 非监督式学习的区别 主要算法和类别 应用举例 1. 定义强化学习是机器学习的一个重要分支，是多学科多领域交叉的一个产物，它的本质是解决 decision making 问题，...
强化学习 (Reinforcement Learning)
Mr_Meng__NLP的博客
12-18 5966
强化学习： 强化学习是机器学习中的一个领域，强调如何基于环境而行动，以取得最大化的预期利益。其灵感来源于心理学中的行为主义理论，即有机体如何在环境给予的奖励或惩罚的刺激下，逐步形成对刺激的预期，产生能获得最大利益的习惯性行为。
强化学习简介
weixin_44852067的博客
04-12 4038
*强化学习（Reinforcement Learning，RL）**是机器学习中的一个领域，是学习“做什么（即如何把当前的情景映射成动作）才能使得数值化的收益信号最大化”。学习者不会被告知应该采取什么动作，而是必须自己通过尝试去发现哪些动作会产生最丰厚的收益。强化学习同机器学习领域中的有监督学习和无监督学习不同，有监督学习是从外部监督者提供的带标注训练集中进行学习（任务驱动型），无监督学习是一个典型的寻找未标注数据中隐含结构的过程（数据驱动型）。
《游戏人工智能编程》学习笔记二——简单的有限状态机
白夜的博客
10-16 557
1、有限状态机的定义 定义：一个有限状态机是一个设备，或是一个设备模型，具有有限数量的状态，它可以在任何给定的时间根据输入进行操作，使得从一个状态变换到另一个状态，或者是促使一个输出或者一种行为的发生。一个有限状态机在任何瞬间只能处在一种状态。 举个例子： 灯的开关是一个非常简单的有限状态机。他有两种状态：开或关。状态之间的变换是通过你手指的输入产生的。向上按开关，产生从关到开的状态变换，向下按开关，产生从开到关的状态变换。 2、有限状态机的实现 方法1、switch/if 以灯的开关为例 using S
强化学习--学习笔记（1）
systemcxz的博客
06-19 531
强化学习–学习笔记 强化学习的分类： 按照环境是否已知分为：Model-based & model-free 按照学习目标分为：Value-based & Policy based 按照学习方式分为：On-policy & Off-policy agent与environment的交互是强化学习的核心，其中包括reward,observation与action Gym是强化学习常用且强大的库，其的核心接口为environment 1.reset():重置环境的状态，回到初始环境，方

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值