强化学习之基本公式

最新推荐文章于 2024-05-24 03:49:26 发布
最新推荐文章于 2024-05-24 03:49:26 发布
阅读量2.1k 收藏 3
点赞数
分类专栏： RL 文章标签： 强化学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/AntiDigit/article/details/110879977
版权

强化学习

公式理解

强化学习中使用收获做为估计价值的指标，这可以类比与现实世界中如何在一顿自助餐中吃回本，如何在一段时间中消耗最低等问题，为了获得最优结果，我们使用计算机进行大量运算。这就是强化学习。
推想（复杂，结果最优？只是最优控制吧。）

状态S的收获

  • G ( S ) = r ( s , a ) + γ r ( s t + 1 , a t + 1 ) + . . . . . . G(S)=r(s,a)+γr(s_{t+1},a_{t+1})+...... G(S)=r(s,a)+γr(st+1​,at+1​)+......
  • 这就相当于 G ( S ) = Σ k = 0 ∞ r t + k ∗ γ k G(S)=Σ_{k=0}^{∞}r_{t+k}*γ^{k} G(S)=Σk=
最低0.47元/天 解锁文章
青叶澜
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【强化学习公式理解】
weixin_43522964的博客
04-01 1550
看了视频后，发现对RL的理解浮于表面，很多问题想不明白，所以停下来整理下公式，加深对理论的理解程度再继续推进。 第三章 Return 在一次实验中，时间步t之后的奖励记做 Rt+1, Rt+2, Rt+3, . . ., 片段奖励Gt:= Rt+1+ Rt+2+ Rt+3+· · ·+ RT, 式子(3.1)： 这个地方最后一个状态是否一定是终结状态呢？这个我现在也不知...
深度强化学习基础知识 思维导图
05-15
强化学习基本概念 基本方法（Value-Based、Policy-Based、Actor-Critic） 策略学习（Reinforce with baseline、A2C） 价值学习（Sarsa、Q-Learning（DQN）） 连续动作控制（DPG、DDPG） 包含上述各种基本算法的原理...
强化学习基本概念及公式推导
weixin_41106546的博客
04-05 1149
马尔可夫决策过程（Markov decision process，MDP）是强化学习的重要概念。要学好强化学习，我们首先要掌握马尔可夫决策过程的基础知识。前两章所说的强化学习中的环境一般就是一个马尔可夫决策过程。与多臂老虎机问题不同，马尔可夫决策过程包含状态信息以及状态之间的转移机制。如果要用强化学习去解决一个实际问题，第一步要做的事情就是把这个实际问题抽象为一个马尔可夫决策过程，也就是明确马尔可夫决策过程的各个组成要素。本章将从马尔可夫过程出发，一步一步地进行介绍，最后引出马尔可夫决策过程。
强化学习算法
最新发布
weixin_41652700的博客
05-24 1292
但是我们实际上并没有真实价值函数（要不然干嘛还要更新这个价值函数呢），所以只能用不同的方法去估计这个真实价值函数值，也就是上式。采用不同的估计方法就产生了不同的基于值的强化学习算法。上式是V更新过程的理想公式，真实价值函数值与过去价值函数值的差就是应当更新价值函数的方向。确定策略梯度：理解为“带权重的梯度”，G为代表好坏的权重，为代表方向的梯度（注意这个梯度跟目标函数梯度不同）后续Q的更新公式是一样的，思路都是一样的。确定策略梯度：理解为找最大的Q。
强化学习中的马尔可夫决策过程，常见公式回顾
tortorish的博客
09-04 406
强化学习中的马尔可夫决策过程，常见公式回顾。
强化学习(Reinforcement Learning)
学习笔记
12-12 1432
强化学习的本质可以说为是对贝尔曼方程(Bellman equationBellman\ equation)求最优近似解，强化学习的任务通常称为马尔可夫决策过程(Markov Decision Process, MDPMarkov\ Decision\ Process,\ MDP)。 应用场景就不说了…MDP(Markov Decision ProcessMarkov\ Decision\ Proc
学习心得-强化学习【贝尔曼公式】
weixin_45739351的博客
03-12 824
强化学习基础笔记
强化学习理论基础（MDP、值函数与贝尔曼公式以及表格式Agent）
tzr0725的博客
07-27 1846
强化学习理论基础（MDP、值函数与贝尔曼公式）前言一、MDP策略与环境模型二、使用步骤1.引入库2.读入数据总结前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 强化学习是智能体（Agent）不断地与环境交互、获取奖励、更新自身策略的迭代过程，目标是学习到能够使整体回报最大化的策略。总的来说，强化学习相比机器学习的监督学习方法有如下特点：1）定义模型所需的约束更少，大大降低定义问题的难度；2）强化学习更重视整个过程的回报，不局限于单步行动。强化学习方法类似于人类学习决策的过程，在预
强化学习公式推导（Actor-Critic）
10-21 1180
PG算法是对整个马尔科夫链（也就是每个trajectory）进行期望计算,最终推导的得到的公式如下: ▽θRθ‾=Eτ∼πθ(τ){∑t=1T▽θlog[πθ(at∣st)]}∗{∑t=1Tr(st,at)}(1) \tag{1} \triangledown_{\theta} \overline{R_\theta}= E_{\tau \sim \pi_{\theta}(\tau)}\{\sum_{t=1}^T \triangledown_{\theta}log[\pi_{\theta}(a_t|s_t)]\
强化学习 Value-Based的公式
zhengjian1996的专栏
02-28 282
强化学习的Value-Based方法基于估计状态或状态动作对的值函数（value function）来指导智能体的决策。常见的value-based方法包括Q-learning、Deep Q-Network（DQN）等。中得到的最大的状态-动作值函数估计。这个公式表示用当前估计的值函数对未来奖励的预测来更新当前的估计。表示折扣因子，表示未来奖励的价值随时间的降低速率。的状态-动作值函数估计，
强化学习matlab源代码
06-17
1. **强化学习基础**：理解强化学习的基本概念，如状态(state)、动作(action)、奖励(reward)、策略(policy)和价值函数(value function)。 2. **Q学习算法**：了解Q学习的数学模型，包括Q值的更新公式，以及如何在...
在强化学习框架下学习交易
10-08
总结来说，在强化学习框架下学习交易，涉及到的知识点包括强化学习的基本概念、Q-learning算法、经验回放缓冲区、探索-利用策略、以及在金融市场的应用考虑。通过这样的方法，可以构建一个能够自主学习和优化交易...
强化学习python版本
09-14
1. 环境（Environment）：强化学习中的环境是机器学习模型与之交互的世界。在Python中，可以使用`gym`库创建和管理环境，例如`gym.make('CartPole-v0')`可以创建经典的倒立摆环境。 2. 状态（State）：环境在某一...
RLproject_强化学习_
10-02
在深入研究这些代码之前，建议先了解强化学习的基本概念，包括马尔科夫决策过程（MDP）、状态、动作、奖励、策略和价值函数等。理解每种算法的核心思想和更新规则，然后通过阅读代码来观察它们如何在实际问题中应用...
DEEPLIZARD强化学习2----预期收益Expected Return
五好市民金闪闪的博客
02-27 641
本系列是依据DEEPLIZARD强化学习课程来的，属于对该课程的一些记录和翻译，有能力的话建议阅读原文，翻译成中文就没有那种味道了。课程的地址为： DEEPLIZARD强化学习课程 B站上的视频地址 该博客的原地址 目录预期收益Expected ReturnEpisodic Vs. Continuing Tasks折扣预期收益Discounted Return 预期收益Expected Return 在上一节我们说到，MDP中agent的目标是使累计奖励(cumulative rewards)最大化，我们
强化学习（Reinforcement Learning, RL）理论部分之马尔科夫(Markov Decision Processes，MDP)：
悔恨之道的主人的博客
05-10 3775
一、马尔科夫决策过程之Markov Processes（马尔科夫过程）：马尔科夫决策过程(Markov Decision Processes，MDP)，是强化学习研究的理论基石，MDP过程是一种随机过程，该模型能够提供一种非常简便的表达方式，对于解决序贯决策问题（Sequential Decision）十分有效。...
强化学习方法（一）：探索-利用困境exploration exploitation，Multi-armed bandit
热门推荐
Bin 的专栏
03-04 2万+
欢迎转载，转载请注明：本文出自Bin的专栏blog.csdn.net/xbinworld。 技术交流QQ群：433250724，欢迎对算法、技术感兴趣的同学加入。 18年新开一个强化学习方法系列，督促自己能够再不断扩充知识并分享给更多的同学。其实前面写的机器学习方法系列和深度学习方法系列，也都还没有写够，平时工作比较忙，更新很慢，但是我还是会努力更新的。今天开始记录一些强化学习的知识，这些内容以...
强化学习（RL）QLearning算法详解
qq_41626059的博客
03-04 1万+
这篇文章将要介绍传统的qlearning算法，使用的是迭代的方法更新q表，更新q表的方法类似于向前推进，而不是使用梯度下降方法，因为这里介绍的不是Deep QLearning方法。 一、算法介绍以及推导 注：这里更新的不是agent，而是一个q表，q表里面记录的是agent在某个状态采取某个的动作的好坏，q表可以起到间接决定agent采取什么决策。q表就类似一个critic，一个评论家，来指导agent。 1.1、Q(s,a)Q(s,a)Q(s,a)是什么？ Q(s,a)Q(s,a)Q(s,a)是状态动作价
深度强化学习-策略梯度算法推导
weixin_46133643的博客
01-01 4433
之前我们讨论过DQN算法：深度强化学习-DQN算法原理与代码、Double DQN算法：深度强化学习-Doubel DQN算法原理与代码、Dueling DQN算法：深度强化学习-Dueling DQN算法原理与代码以及D3QN算法：深度强化学习-D3QN算法原理与代码，这些算法在求解最优策略的过程中试图估计最优价值函数，所以这些算法都被称为最优价值算法(optimal value algorithm)。 但是求解最优策略梯度不一定要估计最优价值函数，策略梯度算法(policy gradient algo
论述强化学习的基本原理
11-20
强化学习是一种机器学习方法，其基本原理是通过智能体与环境的交互来学习最优策略，以最大化预期的累积奖励。在强化学习中，智能体通过观察环境的状态并采取行动来影响环境，并从环境中获得奖励或惩罚。智能体的目标是通过学习最优策略来最大化预期的累积奖励。强化学习的基本原理可以概括为以下几个要素： 1. 状态（State）：智能体与环境交互的过程中，智能体所处的环境状态。 2. 行动（Action）：智能体在某个状态下采取的行动。 3. 奖励（Reward）：智能体在某个状态下采取某个行动所获得的奖励。 4. 策略（Policy）：智能体在某个状态下采取行动的概率分布。 5. 值函数（Value Function）：衡量智能体在某个状态下采取行动的价值。 6. 模型（Model）：环境的动态模型，描述智能体在某个状态下采取某个行动后，环境的状态转移概率和奖励。 强化学习的基本原理可以通过以下公式表示： $$Q(s,a)=E[R_{t+1}+\gamma max_{a'}Q(s',a')|s,a]$$ 其中，$Q(s,a)$表示在状态$s$下采取行动$a$的价值，$R_{t+1}$表示在状态$s$下采取行动$a$后获得的奖励，$\gamma$表示折扣因子，$s'$表示采取行动$a$后的下一个状态，$a'$表示在$s'$下采取的最优行动。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值