第三章、基于表格方法求RL(2)-Q-learning

至尊皇堡

已于 2022-04-17 20:54:08 修改

阅读量428

点赞数

分类专栏：人工智能文章标签：人工智能机器学习深度学习

于 2022-04-17 20:53:00 首次发布

本文链接：https://blog.csdn.net/bala_lala/article/details/124215310

版权

本文详细介绍了Q-learning，它是强化学习中的一种Off-Policy方法，与On-Policy的Sarsa策略不同，Q-learning在更新时假设总是选择Q值最大的动作，即便这可能导致冒险行为。文中通过对比On-Policy与Off-Policy，解析Q-learning的更新公式和算法流程，并提供了简单的代码示例。

摘要由CSDN通过智能技术生成

第三章、基于表格方法求RL(2)-Q-learning

主要内容为题主在学习机器学习时记录的内容

一、On-Policy与Off-Policy

1.1 On-Policy

即行为策略与目标策略相同，它的特点是：the target and the behavior polices are the same。 Sarsa 就是一种典型的 On-Policy，他优化的是他实际上执行的策略，直接拿下一步一定会执行的action来优化表格。
所以只用一种策略来做action选取和优化。
它最终的结果为，即使下一步会有随机动作，但仍然在安全范围内。

1.2 Off-Policy

与 On-Policy 不同的是，Off-Policy保留了两种策略，一个为希望得到的目标策略：Target policy，另外一个为探索环境的行为策略：Behavior policy，它可以大胆的探索数据，且将结果喂给目标策略进行学习。
注意，这里返回的数据为（St,At,Rt+1,St+1），没有A。即目标策略优化时，不管下一步的操作是什么。
在这里插入图片描述
行为策略就像一个天不怕地不怕的调查展示，无所畏惧的对每一种操作进行调查，然后将结果反馈给军师-目标策略。军师可以根据经验进行学习，不需要与环境进行交互。

1.3 对比

在这里插入图片描述
因为 Off-Policy 使用了目标策略和行为策略，所以他可以大胆地使用行为策略去探索，而使用目标策略来学习择优。

二、Q-learning

2.1 Q-learning介绍

Q-learning 是一种典型的 On-policy 策略。Q-learning也是采用Q表格的方式存储Q值（状态动作价值），决策部分与Sarsa是一样的，采用ε-greedy方式增加探索。
Q-learning跟Sarsa不一样的地方是更新Q表格的方式。Sarsa是on-policy的更新方式，先做出动作再更新。Q-learning是off-policy的更新方式，更新learn()时无需获取下一步实际做出的动作next_action，并假设下一步动作是取最大Q值的动作。
在这里插入图片描述

2.2 概念

2.2.1 更新公式

在这里插入图片描述
更新公式与Sarsa的更新公式并没有太大的区别。

2.2.2 Target

他们的区别主要在 Target 的计算上。
在这里插入图片描述
Sarsa使用自己的策略来产生 S-A-R-S’-A’ 这条道路，然后用Q去更新Q值。
而Q-learning 则默认下一个动作为Q最大的动作，即使可能有几率选择其他的动作。
即Q-learning其实更大胆，更贪心。

2.2.3 算法流程

在这里插入图片描述

2.3 代码

2.3.1 agent

如Sarsa，sample函数用来采样，predict用来预测。

class QLearningAgent(object):
    def __init__(self, obs_n, act_n, learning_rate=0.01, gamma=0.9, e_greed=0.1):
        self.act_n = act_n      # 动作维度，有几个动作可选
        self.lr = learning_rate # 学习率
        self.gamma = gamma      # reward的衰减率
        self.epsilon = e_greed  # 按一定概率随机选动作
        self.Q = np.zeros((obs_n, act_n))

    # 根据输入观察值，采样输出的动作值，带探索
    def sample(self, obs):
        if np.random.uniform(0, 1) < (1.0 - self.epsilon): #根据table的Q值选动作
            action = self.predict(obs)
        else:
            action = np.random.choice(self.act_n)