【强化学习】task2 马尔科夫决策过程

最新推荐文章于 2024-01-17 21:16:19 发布
最新推荐文章于 2024-01-17 21:16:19 发布
阅读量150 收藏
点赞数
分类专栏： 强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a8689756/article/details/109250651
版权

强化学习


目录
在这里插入图片描述
待补充。。。。。

第二章

马尔科夫决策是强化学习中最常见的一种框架

在这里插入图片描述

2.1 马尔科夫链

一个状态满足马尔科夫转移指的是对于一个状态只取决于它前一个的状态而与其他状态无关
在这里插入图片描述
图中描述了一个状态到达其他状态的概率在这里插入图片描述
对于上面这样的一个图可以用状态转移矩阵来表示
每一行代表了从一个节点到达其他节点的概率
在这里插入图片描述
马尔科夫例子在这里插入图片描述

2.2 马尔科夫奖励过程

马尔科夫奖励过程=马尔科夫链+马尔科夫奖励过程
多了奖励函数和discount factor
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
为什么需要discount factor
在这里插入图片描述
计算MRP例子，只有第一个状态和第七个状态有奖励
注意计算时候的概率不同
在这里插入图片描述
bellman equation

在这里插入图片描述
在这里插入图片描述
写成矩阵的形式，注意复杂度为N的三次方，所以只能适合小的数据
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.3 马尔科夫决策过程

注意红字
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
d
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.4 马尔科夫链马尔科夫奖励马尔科夫决策区别

左边是马尔科夫链 右边是马尔科夫决策过程
在这里插入图片描述

一一张xi
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
轻松解决TSP问题之强化学习（BaseLine）
`or 1 or 不正经の泡泡
10-23 1207
由于这个时间关系（好吧其实是我懒），咱们的话就只写了这个最简单的一个BaseLine版本。那么后面还有Lite,Plus版本，区别的话就是神经网络模型的一个区别，其他的思想都是一样的。那么为什么不写后面的版本呢，一方面是懒，另一方面是，这样搞，我后面怎么水呀。而且一步到位的话，这个阅读量还是挺大的。那么后续的版本什么时候更新呢，这个不急，而且改进的点也很简单。那么本文也是，TSP系列的第三篇文章，也是作为一个拓展文章，那么关于原理部分的话，这里就不细说了，需要一定的基础进行观看。
强化学习 折扣率_强化学习中的折扣因素的惩罚
weixin_26726011的博客
08-21 7180
强化学习 折扣率This post deals with the key parameter I found as a high influence: the discount factor. It discusses the time-based penalization to achieve better performances, where discount factor is modif...
强化学习的学习之路（三十八）_2021-02-07： Actor Critic - Discount factor
热爱可抵漫长岁月
02-27 1086
作为一个新手，写这个教程也是想和大家分享一下自己学习强化学习的心路历程，希望对大家能有所帮助。这个系列后面会不断更新，希望自己能保证起码平均一天一更的速度，先是介绍强化学习的一些基础知识，后面介绍强化学习的相关论文。本来是想每一篇多更新一点内容的，后面想着大家看CSDN的话可能还是喜欢短一点的文章，就把很多拆分开来了，目录我单独放在一篇单独的博客里面了。完整的我整理好了会放在github上，大家一起互相学习啊！可能会有很多错漏，希望大家批评指正！ Discount factor Discount facto
深度强化学习系列（一）：强化学习概述
热门推荐
ikerpeng
09-21 2万+
深度强化学习系列之一，深度强化学习概述
Andrew Ng机器学习课程笔记（十九）之强化学习
danerer的专栏
05-25 830
Preface Markov Decision Processes MDP定义 MDP例子 MDP过程 Value Function Value Iteration Policy Iteration Preface Markov Decision Processes（MDP，马尔科夫决策过程） Value Function（价值函数） Value Iteration（值...
从强化学习Reinforcement Learning到DQN(Deep Q-learning Network)学习笔记
小鹅鹅的博客
02-17 2万+
前言 本篇博客大概会记录强化学习RL的基础知识，基本方法，以及如何推导到DQN，和关于DeepMind的Playing Atari with Deep Reinforcement Learning(DQN学习打砖块游戏)这篇论文的一些理解，后续改进方向，还有一些具体实现。若有理解不当，恳请指出！ 强化学习基础 强化学习中两大最基本的要素：Agent(智能体)与Environment(环境...
深度强化学习-马尔科夫决策过程和表格型方法-笔记（二）
wield_jjz的博客
10-23 1873
马尔科夫决策过程 马尔科夫过程 Markov Process(MP) （1）马尔科夫性质 （2）马尔科夫过程/马尔科夫链 （3）马尔科夫奖励过程 Markov Reward Process(MRP) horizon：同一个episode或者是整个一个轨迹的长度，它是由有限个步数决定的。 return：Return 说的是我们把奖励进行折扣，然后获得的这个收益。Return 可以定义为奖励的逐步叠加，然后这里有一个叠加系数，就是越往后得到的奖励，折扣得越多。这说明我们其实更希望得到现有的奖励，未来的
《Reinforcement Learning》 读书笔记 3：有限马尔科夫决策过程（Finite MDP）
qjf42的专栏
03-22 1158
《Reinforcement Learning: An Introduction》 读书笔记 - 目录 Agent-Environment Interface agent learner and decision maker environment 与agent交互，包括所有agent之外的东西 environment’s state St∈SSt∈SS_t \in \mathcal...
强化学习笔记
weixin_39548654的博客
11-17 1128
强化学习笔记 - 简介 本文是根据 Sutton的经典书籍 « Reinforcement Learning: An Introduction » 前三章内容整理的笔记。 【枯燥预警】本文侧重对强化学习概念的理论分析，在基本概念上的剖析较为详细，也就是说会比较无聊 LOL 1. 强化学习的概念 1.强化学习的概念 强化学习(reinforcement learning)研究的基本问题是，一...
task1 强化学习——马尔可夫决策过程
ngx09050822的博客
01-17 384
强化学习与马尔可夫决策过程
Reinforcement Learning强化学习系列之一：model-based learning
luchi007的专栏
09-03 1万+
前言在机器学习和深度学习坑里呆了有一些时日了，在阿里实习过程中，也感觉到了工业界和学术界的一些迥异，比如强化学习在工业界用的非常广泛，而自己之前没有怎么接触过强化学习的一些知识，所以感觉还是要好好的补一补更新一下自己的知识库，以免被AI时代抛弃。强化学习初识强化学习要素强化学习可以用下面这张图表示： 从上图可以看出，强化学习的要素是： 1. Agent（图中指大脑） 2. Environm
深度强化学习系列（二）：强化学习基础
ikerpeng
11-10 1万+
本文是强化学习的基础，主要参考 Divid Silver 教程，Reinforcement Learning：An Introduction，以及周志华的西瓜书。可能之前大家已经听过了强化学习的介绍，因此，我首先问几个问题：强化学习和MDP过程是一回事吗？强化学习和监督学习的区别是什么？什么是值迭代，什么是策略迭代？有模型和无模型的强化学习的各自有什么样的学习方法？强化学习和深度学习其实很早就有了
强化学习Q - learning
fly_boss的博客
08-20 6402
作者：牛阿 链接：https://www.zhihu.com/question/26408259/answer/123230350 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。   让小鸟学习怎么飞是一个强化学习（reinforcement learning）的过程，强化学习中有状态(state)、动作(action)、奖赏(reward)这三个要素。智能体（...
第十二讲：强化学习（Reinforcement Learning）和控制（Control）
xyk_hust的博客
01-27 1万+
这一章我们就要学习强化学习（reinforcement learning）和适应性控制（adaptive control）了。 在监督学习（supervised learning）中，我们已经见过的一些算法，输出的标签类 yyy 都是在训练集中已经存在的。这种情况下，对于每个输入特征 xxx，都有一个对应的标签作为明确的“正确答案（right answer）”。与之相反，在很多的连续判断（sequ...
弹性力学基础：应力函数：应力函数在平面问题中的应用.docx
09-01
弹性力学基础：应力函数：应力函数在平面问题中的应用.docx
基于Python和MySQL的医疗机构药品及耗材信息管理系统的设计与实现代码+论文
09-01
基于Python和MySQL的医疗机构药品及耗材信息管理系统的设计与实现代码+论文，含有代码注释，新手也可看懂，个人手打98分项目，导师非常认可的高分项目，毕业设计、期末大作业和课程设计高分必看，下载下来，简单部署，就可以使用。 基于Python和MySQL的医疗机构药品及耗材信息管理系统的设计与实现代码+论文，含有代码注释，新手也可看懂，个人手打98分项目，导师非常认可的高分项目，毕业设计、期末大作业和课程设计高分必看，下载下来，简单部署，就可以使用。 基于Python和MySQL的医疗机构药品及耗材信息管理系统的设计与实现代码+论文，含有代码注释，新手也可看懂，个人手打98分项目，导师非常认可的高分项目，毕业设计、期末大作业和课程设计高分必看，下载下来，简单部署，就可以使用。 基于Python和MySQL的医疗机构药品及耗材信息管理系统的设计与实现代码+论文，含有代码注释，新手也可看懂，个人手打98分项目，导师非常认可的高分项目，毕业设计、期末大作业和课程设计高分必看，下载下来，简单部署，就可以使用。基于Python和MySQL的医疗机构药品及耗材信息管理系统的设计与实现代码
AutoTorch-0.0.2b20201109-py3-none-any.whl.zip
09-01
AutoTorch-0.0.2b20201109-py3-none-any.whl.zip
基于python的warrior管理系统笔记 (2).zip
最新发布
09-01
基于python的warrior管理系统笔记 (2).zip
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值