强化学习 | 课堂笔记 | 第三课 MP的便利性,随机逼近方法

一、回顾

一、值函数、贝尔曼方程、贝尔曼最优方程

在这里插入图片描述

二、最优值函数

三、ADP

3.1 VI

3.2 PI

在这里插入图片描述

四、ADP可以使用的条件

在这里插入图片描述

五、Q函数

六、解决问题的方案

(指的是解决“四 ADP可以使用的条件”中的三个问题)
在这里插入图片描述

二、期望的计算

一、Markov过程的便利性

1.1 平稳分布

1.1.1 一定存在平稳分布
1.1.2 P为分块矩阵↔平稳分布不唯一

1.2 平稳分布的便利性

在这里插入图片描述

二、随机逼近方法

2.1 增量更新与学习率

2.2 随机逼近

2.2.1 不动点迭代的形式θ=f(θ)
2.2.2 求解0=f(θ)
2.2.3 SGD
2.2.3 强化学习:DP在随机逼近框架下的实现

在这里插入图片描述
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值