强化学习 | 蘑菇书阅读笔记 | 第一章 强化学习基础

已于 2023-02-22 09:51:21 修改
阅读量339 收藏
点赞数
分类专栏： 强化学习 文章标签： 机器学习 人工智能
于 2023-02-22 09:49:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_46219381/article/details/129155305
版权
本文介绍了强化学习的基本概念，包括历史、状态与观测的定义，智能体的策略、价值函数和模型组成。讨论了智能体的类型，如基于策略与基于价值的区别，以及有模型与免模型的优缺点。Q学习、Sarsa、策略梯度和演员-评论员算法被提及。
摘要由CSDN通过智能技术生成

参考资料：蘑菇书EasyRL

一、基本概念

历史是观测、动作、奖励的序列

状态是历史的函数

Q：状态和观测有什么关系？

A：状态是对世界的完整描述，不会隐藏世界的信息。观测是对状态的部分描述，可能会遗漏一些信息。环境可以分为完全可观测(马尔科夫决策过程)和部分可观测。

二、智能体的组成成分

智能体有如下三个组成成分：

2.1 策略

即π，分为随机性(stochastic policy)和确定性(deterministic)。

2.2 价值函数

下图的Gt指的是t时刻开始的折扣回报

 

最低0.47元/天 解锁文章
Charlie_1541
关注
专栏目录
蘑菇书EasyRL-task01强化学习基础
weixin_51459486的博客
07-12 736
强化学习task01打卡
【蘑菇书】【第一章】【强化学习基础】
wq6qeg88的博客
08-02 600
*强化学习（reinforcement learning，RL）**讨论的问题是智能体（agent）怎么在复杂、不确定的环境（environment）中最大化它能获得的奖励。如图 1.1 所示，强化学习由两部分组成：智能体和环境。在强化学习过程中，智能体与环境一直在交互。智能体在环境中获取某个状态后，它会利用该状态输出一个动作 （action），这个动作也称为决策（decision）。然后这个动作会在环境中被执行，环境会根据智能体采取的动作，输出下一个状态以及当前这个动作带来的奖励。
豆瓣评分9.2，GitHub 3.3k的学霸笔记终于出书了！获得李宏毅等大佬好评 -- 文末送书...
zenRRan的博客
04-04 283
每天给你送来NLP技术干货！文末留言送书！我们在上学的时候，都会希望能拥有一本学霸笔记，这样能让学习变得事半功倍。要是学霸还顺带帮你押了题，那简直如有神助！现在强化学习越来越热，作为机器学习及人工智能领域的一种重要方法，在游戏、自动驾驶、机器人路线规划等领域得到了广泛的应用。同时，强化学习对应的岗位高薪、前景广阔，吸引了许多人学习。但是，是强化学习的学习门槛很高，光入门就...
强化学习蘑菇书Easy RL 第四五章
weixin_43405049的博客
07-20 910
强化学习第四章（未完待续）
强化学习蘑菇书Easy RL第一章
weixin_43405049的博客
07-12 715
强化学习概述 蘑菇书第一章
强化学习从基础到进阶-案例与实践[1]：强化学习概述、序列决策、动作空间定义、策略价值函数、探索与利用、Gym强化学习实验
2401_85325397的博客
08-01 962
**强化学习（reinforcement learning，RL）** 讨论的问题是智能体（agent）怎么在复杂、不确定的环境（environment）中最大化它能获得的奖励。如图 1.1 所示，强化学习由两部分组成：智能体和环境。在强化学习过程中，智能体与环境一直在交互。智能体在环境中获取某个状态后，它会利用该状态输出一个动作 （action），这个动作也称为决策（decision）。然后这个动作会在环境中被执行，环境会根据智能体采取的动作，输出下一个状态以及当前这个动作带来的奖励。智能体的目的就是尽
强化学习《蘑菇书 EasyRL第一章 概览》
RockyHOO1209的博客
07-12 549
强化学习 蘑菇书 EasyRL第一章 概览
强化学习 | 蘑菇书阅读笔记 | 第五章 近端策略优化(PPO)
qq_46219381的博客
02-27 209
如果我们能从p中采样，那么可以用MC来估计如果不能直接从p中采样，但是可以从q中采样，则可以用重要性估计：但需要注意，两者不能相距太远。因为虽然它们期望一样，方差却不一样。区别在第一项因此，重要性采样的一个缺点是：必须样本充足，否则可能引起巨大的问题。例如下图中，如果对p采样，f(x)的均值显然是负数。如果对q采样，样本很少的情况下，只会采样到f(x)>0的情况，那么估计的期望就是正数。但如果样本足够多，即使采到左边一两个点，也会因为权重很大而把估计值拉回到负数。
强化学习 | 蘑菇书阅读笔记 | 第四章 策略梯度
qq_46219381的博客
02-26 119
用pθ(τ）表示一个策略，其中θ是参数。我们希望找到最佳的τ，使得回报的期望最大。梯度不能求，但是我们可以将它转换一下写成期望的形式此时就可以用MC来估计这个期望。
强化学习 | 蘑菇书阅读笔记 | 第三章 表格型方法
qq_46219381的博客
02-25 94
策略最简单的是查找表（look up table）,即表格型方法(tarbular method),如MC,Q-learning和sarsa。
强化学习 | 蘑菇书阅读笔记 | 第二章 马尔科夫决策过程
qq_46219381的博客
02-23 441
策略迭代和策略评估都是贝尔曼期望方程，因为策略评估是策略迭代的一部分。
强化学习蘑菇书第十二章模仿学习、以及DDQN、演员-评论家算法的一点补充
weixin_43405049的博客
07-27 535
蘑菇书最后一章节
【githubshare】深度学习蘑菇书，覆盖了强化学习、马尔可夫决策过程、策略梯度、模仿学习
m0_67539813的博客
03-23 1832
GitHub 上的深度学习技术书籍：《蘑菇书 EasyRL》，覆盖了强化学习、马尔可夫决策过程、策略梯度、模仿学习等多个知识点。 GitHub：github.com/datawhalechina/easy-rl 该教程也称为 “蘑菇书”，寓意是希望此书能够为读者注入活力，让读者 “吃” 下这本蘑菇之后，能够饶有兴致地探索强化学习，像马里奥那样愈加强大，继而在人工智能领域觅得意外的收获。 ...
EasyRL蘑菇书学习笔记（小白都能看懂的强化学习教程）第一、二章
m0_67466450的博客
06-20 836
强化学习（reinforcement learning，RL）讨论的问题是智能体（agent）怎么在复杂、不确定的环境（environment）中最大化它能获得的奖励。如图 1.1 所示，强化学习由两部分组成：智能体和环境。在强化学习过程中，智能体与环境一直在交互。智能体在环境中获取某个状态后，它会利用该状态输出一个动作 （action），这个动作也称为决策（decision）。然后这个动作会在环境中被执行，环境会根据智能体采取的动作，输出下一个状态以及当前这个动作带来的奖励。
强化学习蘑菇书Easy RL第二、三章学习（马尔可夫决策过程、表格型方法）
weixin_43405049的博客
07-15 2277
马尔可夫决策过程+表格型方法
【蘑菇书EasyRL】强化学习，笔记整理
最新发布
伪NChris的博客
08-05 411
gym 环境一开始是openAI开发了制作强化学习的环境，还有之前非常有名的马里奥，但是这个已经被抛弃，使用了一个全新的名字gymnasium。强化学习像是一朵昙花，在20年到22年曾经出现过，被认为可能是未来的主流，随着大模型的出现，大部分人的精力都随之而去。很多代码库都随着python以及软件版本的更新，有了很多的修改，本人近期学习蘑菇书，在这记录学习中遇到的问题等。PS:有机会自己搭建一个fc游戏的环境，现有的环境大部分都已经年久失修，很多代码无法使用。是因为all是比较老的方式，会出现：的报错。
强化学习读书笔记_0
小小小程序员的博客
03-12 289
强化学习读书笔记 - 10 - on-policy控制的近似方法 学习笔记： Reinforcement Learning: An Introduction, Richard S. Sutton and Andrew G. Barto c 2014, 2015, 2016 参照 Reinforcement Learning: An Introduction, Richard S. Su
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值