强化学习笔记(2)-异策回合更新算法

最新推荐文章于 2023-02-09 08:58:12 发布
最新推荐文章于 2023-02-09 08:58:12 发布
阅读量569 收藏 3
点赞数 1
分类专栏： 人工智能 机器学习 Python编程 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gzroy/article/details/119978151
版权

在前一篇博客中，我总结了强化学习的同策回合更新的方法，并用这种方法来学习21点游戏的最优策略。这里我将总结一下我学习到的异策回合更新的方法。

同策学习和异策学习的区别在于，同策是边决策边学习，学习者同时也是决策者。异策则是根据之前的历史来学习，学习者和决策者可以不同。以围棋AI为例，如果边对弈边学习，这就是同策学习。如果通过阅读人类的历史对弈记录来学习，那么就是异策学习。

在异策学习中，历史记录中用到的策略和我们要学习的策略是不同的，所以称为异策学习。我们将要学习的策略称为目标策略\pi，用来生成历史记录的另一策略称为行为策略b，我们可以采用统计学中的重要性采样的概念，通过行为策略b生成的轨迹样本来生成目标策略的统计量。

重要性采样比率

考虑从t开始的轨迹S_{t}, A_{t}, R_{t+1}, S_{t+1}, A_{t+1}, R_{t+2}, \cdots S_{T-1}, A_{T-1}, R_{T}, S_{T}，在给定S_{t}的条件下，用策略\pi和策略b生成这个轨迹的概率分别为：

Pr_{\pi}[A_{t},R_{t+1},S_{t+1},A_{t+1},\cdots,S_{T-1},A_{T-1},R_{T},S_{T}|S_{t}]

=\pi(A_{t}|S_{t})p(S_{t+1},R_{t+1}|S_{t},A_{t})\pi(A_{t+1}|S_{t+1})\cdots p(S_{T},R_{T}|S_{T-1},A_{T-1})

=\prod_{\tau =t}^{T-1}\pi(A_{\tau}|S_{\tau})\prod_{\tau =t}^{T-1}p(S_{\tau+1},R_{\tau+1}|S_{\tau},A_{\tau})

 Pr_{b}[A_{t},R_{t+1},S_{t+1},A_{t+1},\cdots,S_{T-1},A_{T-1},R_{T},S_{T}|S_{t}]

=b(A_{t}|S_{t})p(S_{t+1},R_{t+1}|S_{t},A_{t})b(A_{t+1}|S_{t+1})\cdots p(S_{T},R_{T}|S_{T-1},A_{T-1})

=\prod_{\tau =t}^{T-1}b(A_{\tau}|S_{\tau})\prod_{\tau =t}^{T-1}p(S_{\tau+1},R_{\tau+1}|S_{\tau},A_{\tau})

我们把这两个概率的比值称为重要性采样比率：

\rho _{t:T-1}=\frac{Pr_{\pi}[A_{t},R_{t+1},S_{t+1},A_{t+1},\cdots ,S_{T-1},A_{T-1},R_{T},S_{T}|S_{t}]}{Pr_{b}[A_{t},R_{t+1},S_{t+1},A_{t+1},\cdots ,S_{T-1},A_{T-1},R_{T},S_{T}|S_{t}]}=\prod_{\tau=t}^{T-1}\frac{\pi(A_{\tau}|S_{\tau})}{b(A_{\tau}|S_{\tau})}

为了让这个比率对于不同的轨迹都有意义，需要使得任何满足\pi(a|s)>0的s\in S, a\in A(s)，均有b(a|s)>0，这样的关系可以记为\pi\ll b

增量法更新

回合更新总是采用Monte Carlo来估计价值函数的值。同策回合更新得到c个回报g_{1}, g_{2}, \dots, g_{c}后，用平均值\frac{1}{c}\sum_{i=1}^{c}g_{i}来作为价值函数的估计。这个方法默认了这c个回报是等概率出现的。类似的，异策回合更新用行为策略b得到c个回报g_{1}, g_{2}, \dots, g_{c}，这c个回报对于行为概率b是等概率出现的，但是对于目标概率\pi不是等概率出现的，这c个回报值出现的概率正是各轨迹的重要性采样比率。因此我们用加权平均来完成Monte Carlo估计。具体而言，若\rho_{i}是回报样本g_{i}对应的权重（轨迹的重要性采样比率），可以有以下两种采样方法：

1. 加权重要性采样:

 \frac{\sum_{i=1}^{c}\rho_{i}g_{i}}{\sum_{i=1}^{c}\rho_{i}}

2. 普通重要性采样: 

\frac{1}{c}\sum_{i=1}^{c}\rho_{i}g_{i}

这两种采样方法的区别在于分母部分，加权重要性采样会排除掉\rho_{i}=0的g_{i}参与平均。

对于加权重要性采样方法，采用增量法来更新加权平均值：

c\leftarrow c+\rho

v\leftarrow v+\frac{\rho}{c}(g-v)

证明如下：

对于前n次观测到的回报g_{1},g_{2},\dots,g_{n}，根据加权重要性采样的定义，值函数

v_{n}=\frac{\sum_{i=1}^{n-1} \rho_{i}g_{i}}{\sum_{i=1}^{n-1} \rho_{i}}

v_{n+1}-v_{n}=\frac{\sum_{i=1}^{n} \rho_{i}g_{i}}{\sum_{i=1}^{n} \rho_{i}}-\frac{\sum_{i=1}^{n-1} \rho_{i}g_{i}}{\sum_{i=1}^{n-1} \rho_{i}}

令a=\sum_{i=1}^{n-1} \rho_{i}g_{i}, b=\sum_{i=1}^{n-1} \rho_{i}

v_{n+1}-v_{n}=\frac{a+\rho_{n}g_{n}}{b+\rho_{n}}-\frac{a}{b}=\frac{ba+b\rho_{n}g_{n}-ab-a\rho_{n}}{b(b+\rho_{n})}=\frac{\rho_{n}(bg_{n}-a)}{b(b+\rho_{n})}=\frac{\rho_{n}(bg_{n}-a)}{b\sum_{i=1}^{n}\rho_{i}}=\frac{\rho_{n}g_{n}}{\sum_{i=1}^{n}\rho_{i}}-\frac{\rho_{n}}{\sum_{i=1}^{n}\rho_{i}}\frac{a}{b}=\frac{\rho_{n}g_{n}}{\sum_{i=1}^{n}\rho_{i}}-\frac{\rho_{n}}{\sum_{i=1}^{n}\rho_{i}}v_{n}

v_{n+1}=v_{n}+\frac{\rho_{n}g_{n}}{\sum_{i=1}^{n}\rho_{i}}-\frac{\rho_{n}}{\sum_{i=1}^{n}\rho_{i}}v_{n}=v_{n}+\frac{\rho_{n}}{\sum_{i=1}^{n}\rho_{i}}(g_{n}-v_{n})

这个就等价于我们刚才定义的

v\leftarrow v+\frac{\rho}{c}(g-v)

对于普通重要性采样，增量法更新为：

c\leftarrow c+1

v\leftarrow v+\frac{1}{c}(\rho g-v)

最优策略求解算法

在求解最优策略的时候，可以指定行为策略b为任意的一个柔性策略，让目标策略\pi为确定性策略，在回合更新中，始终满足\pi\ll b。算法如下：

1. （初始化）初始化动作价值估计q(s,a)为任意值，初始化权重和c(s,a)为0，\pi_{s}=argmax_{a}q(s,a)

2. （回合更新）对每个回合执行以下操作

2.1 （柔性策略）指定b为任意柔性策略

2.2 （采样）用策略b生成轨迹：S_{0},A_{0},R_{1},S{1},A_{1},\dots,S_{T-1},A_{T-1},R_{T},S_{T}

2.3 （初始化回报和权重）G\leftarrow 0, \rho\leftarrow 1

2.4 对于t\leftarrow T-1, T-2,\dots,1,0:

2.4.1 （更新回报）G\leftarrow \gamma G+R_{t+1}

2.4.2 （更新价值）更新q(S_{t}, A_{t})以减少\rho[G-q(S_{t},A_{t})]^{2} （如c(S_{t},A_{t})\leftarrow c(S_{t},A_{t})+\rho, q(S_{t},A_{t})\leftarrow q(S_{t},A_{t})+\frac{\rho}{c(S_{t},A_{t})}[G-q(S_{t},A_{t})])

2.4.3 （策略更新）\pi(S_{t})\leftarrow argmax_{a}q(S_{t},a)

2.4.4 （提前终止）若A_{t}\neq \pi(S_{t})则退出步骤2.4

2.4.5 （更新权重）\rho\leftarrow \rho\frac{1}{b(A_{t},S_{t})}, 因为\pi(S_{t},A_{t})=1

21点的最优策略求解

下面我们可以用异策回合更新算法来找出21点游戏的最优策略。在上一篇博文里面已经介绍了如何用Gym来模拟21点的环境以及用同策回合更新算法来求最优策略，这里不再重复，只是给出异策回合更新的算法，代码如下：

import gym
import numpy as np
import pandas as pd
env = gym.make("Blackjack-v0")

def ob2state(observation):
    return(observation[0], observation[1], int(observation[2]))

def monte_carlo_importance_resample(env, episode_num=500000):
    policy = np.zeros((22,11,2,2))
    policy[:,:,:,0] = 1.
    behavior_policy = np.ones_like(policy)*0.5  #柔性策略
    q = np.zeros_like(policy)   #价值函数
    c = np.zeros_like(policy)   #计数器
    for _ in range(episode_num):
        #每一回合
        state_actions = []
        observation = env.reset()
        while True:
            state = ob2state(observation)
            action = np.random.choice(env.action_space.n, p=behavior_policy[state])
            state_actions.append((state, action))
            observation, reward, done, _ = env.step(action)
            if done:
                break
        g = reward   #每一回合最后结束时的奖励作为回报值
        rho = 1.     #重要性采样比率初始化
        for state, action in reversed(state_actions):
            c[state][action]+=rho
            q[state][action]+=(rho/c[state][action])*(g-q[state][action])
            a = q[state].argmax()
            policy[state] = 0.
            policy[state][a] = 1.
            if a!=action:
                break
            rho /= behavior_policy[state][action]
    return policy, q

p,q = monte_carlo_importance_resample(env)
blackjack_policy = {}
for i in range(4, 20):
    blackjack_policy[str(i)] = []
    for j in range(2, 11):
        if p[i,j,0,0]<p[i,j,0,1]:
            blackjack_policy[str(i)].append('H')
        else:
            blackjack_policy[str(i)].append('S')
    if p[i,1,0,0]<p[i,1,0,1]:
        blackjack_policy[str(i)].append('H') 
    else:
        blackjack_policy[str(i)].append('S') 
for i in range(13, 20):
    key = 'A,'+str(i-11)
    blackjack_policy[key] = []
    for j in range(2, 11):
        if p[i,j,1,0]<p[i,j,1,1]:
            blackjack_policy[key].append('H')
        else:
            blackjack_policy[key].append('S')
    if p[i,1,1,0]<p[i,1,1,1]:
        blackjack_policy[key].append('H') 
    else:
        blackjack_policy[key].append('S') 
with open('blackjack_policy.csv', 'w') as f:
    result = 'Player;2;3;4;5;6;7;8;9;10;A\n'
    for key in blackjack_policy:
        result += (key+';'+';'.join(blackjack_policy[key])+'\n')
    f.write(result)
df = pd.read_csv('blackjack_policy.csv', header=0, index_col=0, sep=';')
df.head(100)

输出结果如下：

Player2345678910A
4HHHHHHHHHH
5HHHHHHHHHH
6HHHHHHHHHH
7HHHHHHHHHH
8HHHHHHHHHH
9HHHHHHHHHH
10HHHHHHHHHH
11HHHHHHHHHH
12HHHSSHHHHH
13SSSSSHHHHH
14SSSSSHHHHH
15SSSSSHHHHH
16SSSSSHHHHH
17SSSSSSSSSH
18SSSSSSSSSS
19SSSSSSSSSS
A,2HHHHHHHHHH
A,3HHHHHHHHHH
A,4HHHHHHHHHH
A,5HHHHHHHHHH
A,6HHHHHHHHHH
A,7SSHHHSSHHH
A,8SSSSSSSSSS
gzroy
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
TCBBS论坛 同策情缘
12-09
TCBBS论坛 同策情缘
JSP学习笔记-2.pdf
11-28
JSP学习笔记-2.pdf
强化学习笔记(4)-深度Q学习
11-23 2487
记录一下在阅读《强化学习：原理与python实现》这本书的学习笔记。 在之前学习到的强度学习方法中，每次更新价值函数只更新某个状态动作对的价值估计。但是有些情况下状态动作对的数量非常大，不可能对所有的状态动作对逐一更新。函数近似方法用参数化的模型来近似整个状态价值函数，并在每次学习时更新整个函数，这样，对于没有被访问过的状态动作对的价值估计也能得到更新。 函数近似方法采用一个参数为w的函数q(s,a:w)来近似动作价值。 ...
强化学习#code4
芜湖，人活着就是为了摸鱼
03-31 5402
4.8 案例：21点游戏 一、游戏规则 本节考虑纸牌游戏“21点”（Blackjack-v0），为其实现游戏AI。 21点的游戏规则是这样的：游戏里有一个玩家（player）和一个固定策略的庄家（dealer），牌的数量是无限（有替换）的，每次取牌的概率是固定的。游戏开始时玩家和庄家都有两张牌，庄家的一张牌是亮出来的。接着，玩家可以选择是不是要更多的牌，每个回合的结果可能是玩家获胜、庄家获胜或打成平手。 简化版的玩家动作：只有两种：一种是拿牌，另一种是停牌。 拿牌（HIT）：如果玩家拿牌，表示玩家希望再拿
强化学习:带起始探索的每次访问同策回合更新算法求解机器人找金币问题
赛亚茂的博客
08-02 284
用同策回合更新算法求解迷宫寻路问题
强化学习4：回合更新价值迭代
十八子的博客
11-14 687
文章目录回合更新价值迭代同策策略评估回合更新起始探索柔性策略(ϵ−soft)(\epsilon-soft)(ϵ−soft)异策重要性采样策略评估回合更新求解最优策略 回合更新价值迭代 有模型 动力函数 p(s’,r∣s,a)p(s’,r | s, a)p(s’,r∣s,a) 方案：解Bellman期望方程/最优方程，方程求解 / 线性规划 / 动态规划 算法：因为有模型（动力函数），可以策略迭代（Bellman期望方程），也可以价值迭代（Bellman最优方程） 无模型 幕序列 (S0,A0,
强化学习笔记(1)-同策回合更新算法
08-16 1007
在我上一篇博客文章中对21点的策略进行了研究，采用蒙特卡洛的方式来进行大量的模拟，通过对比不同策略的收益来找到最佳的策略，这里主要是通过概率的思想来进行研究。 这里我打算换一种思路，采用强化学习的方法来进行研究。 环境模拟 首先我们需要先配置一个实验的环境，这里采用了Gym库的环境"Blackjack-v0"来进行模拟。以下代码是建立环境并用随机策略玩一个回合的代码。 import gym import numpy as np env = gym.make("Blackjack-v0") ob
强化学习基本概念及方法分类
lijieling123的博客
03-28 3491
定义 强化学习的目标是找到最大化收益的策略，找寻策略的一个重要途径是找到马可夫决策模型上的价值函数 马尔可夫 用于在系统状态具有马尔可夫性质的环境中模拟智能体可实现的随机性策略与回报 当一个随机过程在给定现在状态及所有过去状态情况下，其未来状态的条件概率分布仅依赖于当前状态，即符合马尔可夫性质 求解价值函数 求解价值函数有三种方法： 蒙特卡洛方法，方程：V(s)←V(s)+α(Gt−V(s)) 动态规划方法，贝尔曼方程(相对于对于确定的环境)：V(s)←Eπ[Rt+1+γV(s′)] 结合蒙特卡洛方法
强化学习(3)
PoleToWin的博客
06-29 230
建模成马尔可夫决策过程，动态规划方法，一般或者最优策略，对状态转移概率清楚，遍历并选择策略，评价策略好坏，更新策略 现实中无法知道环境，不知道状态，不知道概率，对于这类序列决策问题 蒙特卡洛学习 Monte-Carlo Prediction 目标：Agent Environment 寻找最优策略 使得期望Q（S，W）最大化 动态规划知道所有环境，我们需要知道环境的一个近似，MC方法从episode...
统计学习方法笔记-基于Python算法实现源码.zip
06-01
统计学习方法笔记-基于Python算法实现。统计学习方法笔记-基于Python算法实现 所有代码均可直接运行。统计学习方法笔记-基于Python算法实现。统计学习方法笔记-基于Python算法实现 所有代码均可直接运行。统计学习...
强化学习算法笔记整理和总结
04-06
里面是我自己手写的强化学习笔记。参考自刘建平老师的强化学习博客，再加上自己的理解，通俗易懂。里面包含了强化学习model-free的经典论文（Q-learning、SARSA、TD(lambda)、DQN、DDQN、prioritized replay DQN、...
吴恩达机器学习笔记-人工智能机器学习算法入门笔记
01-26
该笔记是我在学习吴恩达机器学习时整理的，希望能够帮助到大家，如有错误还请大家指正。如果你想进入尖端人工智能领域，该笔记将帮助你做到这一点，掌握深度学习将为您提供许多新的职业机会。深度学习也是一种新的...
【强化学习】强化学习分类
shura的技术空间
06-21 1万+
https://github.com/tigerneil/deep-reinforcement-learning-family https://morvanzhou.github.io/tutorials/machine-learning/reinforcement-learning/1-1-B-RL-methods/ ——-主要引用morvan老师的教学视频 【强化学习】强...
强化学习八、策略梯度
wshzd的博客
05-22 475
到目前为止，前面分享的从MDP到DQN都是值函数的方法，值函数方法的思路是先通过策略评估和策略改善两个步骤优化值函数，然后通过最优的值函数来导出最优的策略，此时的最优策略是贪婪策略，也就是在给定状态s，寻找最大状态值函数的动作，它是一个状态空间到动作空间的有限映射。 其实值函数的方法是有一些局限性的： 1、策略π是通过值函数产生的，但是有时候值函数很难计算的，比如让机器人打乒乓球，你需要前后左右移动来接球，计算小球在某一个位置是采取什么样的行动是很困难的。 2、对于高纬度或者连...
基于Tensorflow的Resnet程序实现（CIFAR10准确率为91.5%）
热门推荐
09-07 2万+
       在上一篇博文中我重写了Tensorflow中的CNN的实现，对于CIFAR10的测试集的准确率为85%左右。在这个实现中，用到了2个卷积层和2个全连接层。具体的模型架构如下：        为了进一步提高准确率，我们可以采用一些更先进的模型架构，其中一种很出名的架构就是RESNET，残差网络。这是Kaiming大神在2015年的论文"Deep Residual Learning...
解读YOLO v7的代码(三)损失函数
02-09 1万+
对Yolov7的代码进行分析，研究其正样本生成机制以及损失函数
基于Tensorflow的Imagenet数据集的完整处理过程（包括物体标识框BBOX的处理）
01-06 1万+
最近比较忙，好久没更新博客了。 上一篇博客是关于对Imagenet数据集进行预处理的，虽然能给Tensorflow的后续训练提供数据，但是我觉得还是有改进的空间，主要包括了两点： 数据集中还提供了很多图片的bounding box，这个bounding box是人工进行的标注，准确的标注了图片中对应类别的物体的具体位置。在之前的数据集预处理中没有包括这一部分。即使我们现在做的模型是做类别判断，...
从零开始用Tensorflow实现YOLO物体检测算法
04-21 9824
一直对物体检测算法很感兴趣，记录一下自己用Tensorflow来重现YOLO论文的过程。这里的程序代码都是个人原创。 我认为YOLO论文是一个开创性的研究成果，通过对图像划分多个网格，并对网格的物体进行预测，在速度上大大领先其他的物体检测算法，例如Regional CNN，Faster RCNN等。YOLO的论文写的不是太好读懂，特别是关于LOSS函数的计算这一部分。网上对于YOLO论文的解读有...
YOLO V3基于Tensorflow 2.0的完整实现
06-21 8465
YOLO V3版本是一个强大和快速的物体检测模型，同时原理上也相对简单。我之前的博客中已经介绍了如何用Tensorflow来实现YOLO V1版本，之后我自己也用Tensorflow 1.X版本实现了YOLO V3，现在Tensorflow演进到了2.0版本，相比较１.X版本做了很大的改进，也更加易用了，因此我记录一下如何用Tensorflow 2.0版本来实现YOLO V3。网上能找到的很多Te...
vtk学习笔记 --- 显示坐标系
最新发布
05-20
在vtk中显示坐标系可以通过添加vtkAxesActor对象实现。vtkAxesActor可以显示三个坐标轴，以及它们的标签和箭头。 下面是一个简单的示例代码，用于在vtk中显示坐标系： ```python import vtk ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

gzroy

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值