强化学习 | 蘑菇书阅读笔记 | 第三章 表格型方法

策略最简单的是查找表(look up table),即表格型方法(tarbular method),如MC,Q-learning和sarsa。

一、有模型和免模型

有模型:知道状态转移函数和奖励函数。如果有模型,智能体实际上没有和环境进行交互,且我们可以使用动态规划的方法解决——这是上一章的内容,上一章都是以有模型为前提的。

但是,当环境未知或模型太大难以迭代计算时,就需要免模型的强化学习。

二、Q表格

补充:强化=用下一个状态的价值更新当前状态的价值=单步更新=时序差分。 

三、免模型预测

3.1 蒙特卡洛

 

可以改写成每次都更新的形式:

把1/N(st)视为学习率,可以写为:

蒙特卡洛相比起动态规划的优点:1.不需要知道环境 2.每次只更新样本所涉及的状态,适合参数量很大的情况,会更快。

蒙特卡洛方法只适用于有终点的模型。

3.2 时序差分

3.2.1 算法

 当n取1时为单步TD,n取∞时为MC。所以n-step TD是TD与MC的权衡。

3.2.2 比较时序差分与蒙特卡洛方法

1. 时序差分是线上学习的

2.时序差分允许使用不完整的序列

3.时序差分允许使用没有终点的序列

4.时序差分利用了马尔科夫性,所以在符合马尔科夫性的环境中表现更好;MC是纯采样的方法,没有这样的要求。

3.2.3 TD,MC,动态规划的自举与采样

MC纯采样,动态规划纯自举,TD两者兼有。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值