RL强化学习——详解Q-learning和SARSA算法

已于 2022-09-04 22:51:48 修改
阅读量1.7k 收藏 17
点赞数 5
分类专栏： 强化学习 文章标签： 算法 python 机器学习
于 2022-08-28 19:19:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Elon15/article/details/126571382
版权

一、专业术语介绍：

1.model-free

与DP不同的是，在Q-Learning中，我们在一个未知的MDP中做所有的事情，就是无模型的意思。

2.prediction & control

无模型预测是对未知MDP的价值函数进行估计，无模型控制是对未知MDP的价值函数进行优化。

3.on-policy & off-policy

在线策略学习是指从某策略的经验中学习策略，离线策略学习是指从其他策略的经验中学习策略，如：向教练学习

4.TD-learning

时序差分学习是蒙特卡洛(MC)思想和动态规划(DP)思想的结合。与MC方法一样，TD方法可以在没有环境动态模型的情况下直接从原始经验中学习。与DP方法一样，TD方法在一定程度上基于其他已知的估计来更新估计，而不像MC那样等待最终结果。

现在是时候引入Q-Learning算法了，它是一种off-policy TD控制算法，是无模型RL的早期突破之一
在这里插入图片描述
接下来，我们将在悬崖行走任务中实现Q-learning算法。

二、悬崖行走案例介绍

在这里插入图片描述
这是一个标准的、没有折扣的、关卡任务，有开始和目标状态，以及导致上下左右移动的通常动作。所有奖励为−1除了那些进入“悬崖”区域的过渡。进入这个区域会获得奖励−100，立即返回起始位置。

三、整体思路：

1.环境地图

在这里插入图片描述

2.Q表

（1）逻辑上的Q表

在这里插入图片描述

S有多少种呢？

S=height*length种

A有多少种呢？

A=4种（上、下、左、右）

（2）实际代码实现中使用的Q表

在这里插入图片描述

四、Q-Learning算法

1.Q值的更新公式如下：

在这里插入图片描述

2.伪代码：

在这里插入图片描述

3.伪代码详解

在这里插入图片描述

4.详细代码以及注释

import time
import random

# 环境类
class Env():
    def __init__(self, length, height):
        # define the height and length of the map
        self.length = length  # 12
        self.height = height  # 4
        # define the agent's start position
        self.x = 0
        self.y = 0

    # 动态的用符号渲染地图
    def render(self, frames=50):
        # 逐行打印
        for i in range(self.height):
            # 打印悬崖行
            if i == 0:  # cliff is in the line 0
                # 第0行[S, x, x, x, x, x, x, x, x, x, x, T]
                line = ['S'] + ['x']*(self.length - 2) + ['T']  # 'S':start, 'T':terminal, 'x':the cliff
            # 打印其他三行
            else:
                line = ['.'] * self.length
            # 将agent所在的位置标为o
            if self.x == i:
                line[self.y] = 'o'  # mark the agent's position as 'o'
            print(''.join(line))
        print('\033['+str(self.height+1)+'A')  # printer go back to top-left
        time.sleep(1.0 / frames)

    def step(self, action):
        # 0:向右    1:向左      2:向上        3:向下
        change = [[0, 1], [0, -1], [-1, 0], [1, 0]]
        # 计算agent移动之后的位置
        self.x = min(self.height - 1, max(0, self.x + change[action][0]))
        self.y = min(self.length - 1, max(0, self.y + change[action][1]))

        # 其实状态就是agent在地图中的位置
        states = [self.x, self.y]
        reward = -1
        terminal = False
        if self.x == 0:  # if agent is on the cliff line "SxxxxxT"
            # 在第0行，而不在起始位置
            if self.y > 0:  # if agent is not on the start position
                # 无论是达到终点，还是摔落悬崖，游戏都终止了！！！
                terminal = True
                # 摔落悬崖了！！
                if self.y != self.length - 1: # if agent falls
                    reward = -100
        return reward, states, terminal
    # 重开游戏，让agent回到起点
    def reset(self):
        self.x = 0
        self.y = 0


class Q_table():
    def __init__(self, length, height, actions=4, alpha=0.1, gamma=0.9):
        # Q表是一维列表
        self.table = [0] * actions * length * height # initialize all Q(s,a) to zero
        self.actions = actions
        self.length = length
        self.height = height
        self.alpha = alpha  # 学习率
        self.gamma = gamma  # 折扣因子

    # 在一维Q表中寻找，对应状态下采取特定action的索引
    def _index(self, a, x, y):
        """Return the index of Q([x,y], a) in Q_table."""
        return a * self.height * self.length + x * self.length + y

    def _epsilon(self):
        return 0.1
        # version for better convergence:
        # """At the beginning epsilon is 0.2, after 300 episodes decades to 0.05, and eventually go to 0."""
        # return 20. / (num_episode + 100)

    """
        根据epsilon-greedy的策略选择action
    """
    def take_action(self, x, y, num_episode):
        """epsilon-greedy action selection"""
        # epsilon的概率进行随机选取动作
        if random.random() < self._epsilon():
            # 随机选择action
            return int(random.random() * 4)
        else:
            # 将四种action对应的Q值存在actions_value中
            actions_value = [self.table[self._index(a, x, y)] for a in range(self.actions)]
            # 返回当前state下Q值最大对应的action
            # index就是在0、1、2、3中选择
            return actions_value.index(max(actions_value))

    """
        这个函数是，先将当前状态下的四种行为所对应的Q值放到actions_value中
        然后在四种行为中选择Q值最大的那个action，最终返回最大Q值
    """
    def max_q(self, x, y):
        # 后面的for循环是：取四个action，然后通过Q表的索引找到当前状态下，采取行为所对应的Q值
        # 最外层的[]是放四个不同的action对应的Q值，所以actions_value总是有四个
        # actions_value是一个长度为4的列表
        actions_value = [self.table[self._index(a, x, y)] for a in range(self.actions)]
        return max(actions_value)

    # 更新Q表
    def update(self, a, s0, s1, r, is_terminated):
        # both s0, s1 have the form [x,y]
        q_predict = self.table[self._index(a, s0[0], s0[1])]
        # print(q_predict)
        if not is_terminated:
            q_target = r + self.gamma * self.max_q(s1[0], s1[1])
        else:
            q_target = r
        self.table[self._index(a, s0[0], s0[1])] += self.alpha * (q_target - q_predict)


def cliff_walk():
    # 初始化环境
    env = Env(length=12, height=4)
    # 构造Q表，Q表是一个48 x 4列的矩阵
    table = Q_table(length=12, height=4)
    # 训练3000个episode
    for num_episode in range(3000):
        # within the whole learning process
        episodic_reward = 0
        is_terminated = False
        # episode开始时的state是起点位置
        s0 = [0, 0]
        while not is_terminated:
            # within one episode
            # 循环内的s0代表当前state
            action = table.take_action(s0[0], s0[1], num_episode)
            # 选择了action之后的奖励、状态和是否结束游戏
            # 也就是走了一步之后,s1代表下一步的state
            r, s1, is_terminated = env.step(action)
            table.update(action, s0, s1, r, is_terminated)
            episodic_reward += r
            # 渲染动态过程
            # env.render(frames=100)
            # 当前位置变为了s1
            s0 = s1
        if num_episode % 20 == 0:
            print("Episode: {}, Score: {}".format(num_episode, episodic_reward))
        # 一个episode结束之后，重置环境
        env.reset()

if __name__ == "__main__":
    cliff_walk()

5.执行结果

在这里插入图片描述

五、SARSA算法

1.Q值更新公式

在这里插入图片描述

2.与Q-Learning算法的异同

SARSA算法：我当前时间t下使用epsilon-greedy的策略进行take action。因为还有考虑将来的Q值。将来Q值方面，采取的是：我在当前情况下，我使用epsilon-greedy的策略，往前再走一步，利用Q表，看看当前state下，采取什么action是最优的。然后将这个最优的Q值使用在上述的Q值更新公式中。这种属于，我下一步哪个Q值最大，我根据当前Q表，进行下一步的最优实践，我往前迈一步试试，这就是on-policy的策略！！！

Q-Learning算法：我当前时间t下使用epsilon-greedy的策略进行take action。因为还有考虑将来的Q值。将来Q值方面，采取的是：我在当前情况下，我再次查阅Q表，将我下一步take action的所有情况列出来进行比较。然后将最优的Q值用在Q值更新公式中。这种属于“不实操，我根据当前的情况Q表，去思考，我下一步哪个Q值最大，然后直接将其用在更新公式中”。这叫做off-policy策略！！！

3.伪代码

在这里插入图片描述

4.伪代码详解

在这里插入图片描述

5.详细代码及注释：

import time
import random

# 环境类
class Env():
    def __init__(self, length, height):
        # define the height and length of the map
        # 初始化地图的宽和高
        self.length = length
        self.height = height
        # define the agent's start position
        # 初始化agent的起点
        self.x = 0
        self.y = 0

    def render(self, frames=50):
        for i in range(self.height):
            if i == 0: # cliff is in the line 0
                line = ['S'] + ['x']*(self.length - 2) + ['T'] # 'S':start, 'T':terminal, 'x':the cliff
            else:
                line = ['.'] * self.length
            if self.x == i:
                line[self.y] = 'o' # mark the agent's position as 'o'
            print(''.join(line))
        print('\033['+str(self.height+1)+'A')  # printer go back to top-left
        time.sleep(1.0 / frames)


    # 走动
    def step(self, action):
        # 根据采取的action之后，改变agent在地图中的状态（位置）
        change = [[0, 1], [0, -1], [-1, 0], [1, 0]]
        self.x = min(self.height - 1, max(0, self.x + change[action][0]))
        self.y = min(self.length - 1, max(0, self.y + change[action][1]))

        states = [self.x, self.y]
        reward = -1
        terminal = False
        if self.x == 0:  # if agent is on the cliff line "SxxxxxT"
            if self.y > 0:  # if agent is not on the start position
                terminal = True
                if self.y != self.length - 1:  # if agent falls
                    reward = -100
        return reward, states, terminal

    # 重置agent的位置
    def reset(self):
        self.x = 0
        self.y = 0


class Q_table():
    def __init__(self, length, height, actions=4, alpha=0.1, gamma=0.9):
        # 初始化Q表，其实时一个一维Q表，4 * 12 * 4 = 192
        self.table = [0] * actions * length * height  # initialize all Q(s,a) to zero
        self.actions = actions
        self.length = length
        self.height = height
        self.alpha = alpha
        self.gamma = gamma

    # 根据当前状态S（位置）和行为A，找到Q表中对应的索引
    def _index(self, a, x, y):
        """Return the index of Q([x,y], a) in Q_table."""
        return a * self.height * self.length + x * self.length + y

    # epsilon还是0.1
    def _epsilon(self):
        return 0.1
        # version for better convergence:
        # """At the beginning epsilon is 0.2, after 300 episodes decades to 0.05, and eventually go to 0."""
        # return 20. / (num_episode + 100)

    # 使用epsilon-greedy策略去take action
    def take_action(self, x, y, num_episode):
        """epsilon-greedy action selection"""
        if random.random() < self._epsilon():
            return int(random.random() * 4)
        else:
            actions_value = [self.table[self._index(a, x, y)] for a in range(self.actions)]
            return actions_value.index(max(actions_value))

    # on-policy策略，SARSA算法的核心
    def epsilon_q(self, x, y):
        actions_value = [self.table[self._index(a, x, y)] for a in range(self.actions)]
        return max(actions_value) if random.random() > self._epsilon() else actions_value[int(random.random() * 4)]


    def update(self, a, s0, s1, r, is_terminated):
        # both s0, s1 have the form [x,y]
        q_predict = self.table[self._index(a, s0[0], s0[1])]
        if not is_terminated:
            # 和Q-Learning算法更新Q值的不同之处
            q_target = r + self.gamma * self.epsilon_q(s1[0], s1[1])
        else:
            q_target = r
        self.table[self._index(a, s0[0], s0[1])] += self.alpha * (q_target - q_predict)


def cliff_walk():
    env = Env(length=12, height=4)
    table = Q_table(length=12, height=4)
    for num_episode in range(3000):
        # within the whole learning process
        episodic_reward = 0
        is_terminated = False
        s0 = [0, 0]
        while not is_terminated:
            # within one episode
            action = table.take_action(s0[0], s0[1], num_episode)
            r, s1, is_terminated = env.step(action)
            table.update(action, s0, s1, r, is_terminated)
            episodic_reward += r
            # env.render(frames=100)
            s0 = s1
        if num_episode % 20 == 0:
            print("Episode: {}, Score: {}".format(num_episode, episodic_reward))
        env.reset()

if __name__ == "__main__":
    cliff_walk()

6.执行结果

在这里插入图片描述

六、总结

SARSA算法和Q-Learning算法的区别之处主要在Q值更新公式上——未来Q值的计算。
从实验结果来看，SARSA算法最终的收敛结果reward小于Q-Learning算法，维持在-15~-19左右，但是更加“稳健”。Q-Learing算法最终收敛的reward更大一些，可以达到最好的效果-13。但是出现-100多的情况也更多，比较“激进”。

时代&信念
关注
  • 5
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
【Pytorch项目实战】之强化学习：Q-Learning、SARSA、DQN
shinuone的博客
01-31 990
Q-Learning、SARSA、深度Q网络（Deep Q Network，DQN）、策略梯度（Policy Gradients）等。：环境（Environment）、主体（Agent）、状态（State）、动作（Action）、奖励（Reward）的行动策略，有些动作将始终无法选择，进而导致无法更新Q值，将不利于发现更有价值的情况。问题1：（1）在实际应用下，由于场景很复杂，很难定义出离散且有限的状态和动作。若安装失败就多试几次。问题2：（2）即使能够定义，数量非常大的情况下，无法用数组存储。
在线学习的深度强化学习——Online Reinforcement Learning for Learning
程序员光剑
09-01 2391
在人工智能和机器学习领域，深度强化学习（Deep Reinforcement Learning，DRL）已经成为一个备受关注的研究方向。传统的强化学习方法在处理高维状态空间和复杂决策问题时往往力不从心，而深度强化学习通过结合深度学习的强大表示能力，极大地扩展了强化学习的应用范围。然而，在实际应用中，我们常常面临着动态变化的环境和持续输入的数据流，这就要求学习算法能够实时地适应新的情况，不断调整和优化决策策略。在线学习（Online Learning）作为机器学习的一个重要分支，专门解决在。
迷宫求解器——Q-Learning和SARSA算法：在本项目中，我们通过Q-Learning和SARSA算法模拟了两个代理，并将它们置于交互式迷宫环境中以训练最佳策略-matlab开发
05-29
在这个项目中，我们在MATLAB实时编辑器环境中模拟了交互式迷宫环境，并实现了两种经典的Rl（强化学习）算法-Q学习和sarsa算法。 通过创建一个在迷宫中交互移动的代理，可以使用两种算法来训练最高激励值奖励和最佳迷宫行走方法。 最后，我们比较了两种算法的性能。
Q Learning 和SARSA算法
chaojianmo的博客
11-26 876
1 Q Learning算法 Q更新公式： ∈-greedy策略 在Q Learning的更新过程中，每一步都要根据当前的state以及Q函数确定一个合适的行动action。这里有一个如何平衡“经验”和“探索”的问题。如果完全按照经验行动，即每次都在Q(state, :)中选择对应值最大的action，那么很有可能一直局限在已有经验中，难以发现更具价值的新的行为。但如果智能体只专注于探索...
一文读懂强化学习：RL全面解析与Pytorch实战
最新发布
2401_85325519的博客
07-27 1009
在本篇文章中，我们全面而深入地探讨了强化学习（Reinforcement Learning）的基础概念、主流算法和实战步骤。从马尔可夫决策过程（MDP）到高级算法如PPO，文章旨在为读者提供一套全面的理论框架和实用工具。同时，我们还专门探讨了强化学习在多个领域，如游戏、金融、医疗和自动驾驶等的具体应用场景。每个部分都提供了详细的Python和PyTorch代码示例，以助于更好地理解和应用这些概念。
Sarsa算法和Q-learning算法
PiggyRuns的博客
06-02 3188
强化学习Sarsa和Q-learning算法，详细流程以及代码实现
Q学习与Sarsa
tataoto的博客
10-29 319
Q学习与Sarsa
Q-learning与Sarsa算法与区别 小学生都看得懂系列
qq278937623的博客
04-11 517
请先看https://blog.csdn.net/u010223750/article/details/78955807这文章大概了解一下 本文只是补充更仔细的代码实际运行过程，以彻底了解和区分Q-learning与Sarsa的算法与区别 代码https://github.com/nuomizai/Qlearning 正文: 已知从0.0开始，走入1.0----10.0 奖励为-100，其它每步为-1，终点11.0奖励为0 所有初始动作值都为0 假设已知0.1向右的动作值为-0.5 假设已知1.1向下的动
离线强化学习(Offline RL)系列3: (算法篇) IQL(Implicit Q-learning)算法详解与实现
深度强化学习(DeepRL)探索博客
04-12 5871
本文提出的 IQL(Implicit Q-learning) 直接没有去学习OOD之外的动作，而是用已知的state-action进行学习，通过使用SARSA style的方式重构策略和值函数（引入Expectile Regression） $L$ ，在策略的抽取方面采用了AWR(Advantage Weighted Regression)方式抽取，直接确定 $Q$ 值如何随着不同的动作而变化，并借助随机动态对未来结果进行平均，而不是确定 $Q$ 值如何随着不同的未来结果而变化.结果表明
QLearning原理与代码实例讲解
程序员光剑
07-24 580
Q-Learning原理与代码实例讲解 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍 1.1 问题的由来 在人工智能领域，强化学习（Rein
本文将对目前已有的基于Q-learning的方法进行综述，并比较各自的优缺点，最后通过实验评估研究者们的经验，发现不同Q-learning方法之间的差异以及适用场景
程序员光剑
10-09 684
在机器学习领域，强化学习（Reinforcement Learning，RL）是一种基于环境反馈和基于策略梯度的方法。在RL中，智能体（Agent）通过不断试错，学习从状态（State）到动作（Action）的映射关系，以最大化奖励（Reward）。其关键特征是agent必须能够在连续的动作空间（Continuous Action Space）中进行决策。然而，在实际应用过程中，由于动作空间具有高维度和无限数量，导致状态空间的表达能力有限，难以找到有效的决策方案。
【强化学习】Q-learning，DQN，SARSA算法介绍
几度热忱的博客
05-27 934
【强化学习】Q-learning，DQN，SARSA算法介绍 强化学习算法分类 基于价值的方法 基于策略的方法 Actor-Critic方法 Q-learning算法 DQN算法 强化学习训练数据存在的问题 经验回放机制 备份网络机制 Sarsa算法 总结
强化学习之Q学习与SARSA
SayHello2You的博客
12-29 1139
对强化学习算法中的Q学习与SARSA算法进行了编程与伪代码解释，具体详见github https://github.com/Say-Hello2y/reforcementLearningPathplanner
强化学习（一）--Sarsa与Q-learning算法
qq_37333048的博客
03-15 2250
强化学习（一）--Sarsa与Q-learning算法1. SARSA算法2. Q-learning算法3. 代码实现3.1主函数3.2训练及测试函数3.3 SarsaAgent类的实现3.3.1 sample函数3.3.2 predict函数3.3.3 learn函数3.4 Q-learning算法的改变 最近实验室有一个项目要用到强化学习，在这开个新坑来记录下强化学习的学习过程。 第一节就先来最简单的基于表格型的RL算法，包括经典的Sarsa和Q-learning算法。 由于时间原因，关于算法的理论知识
RL-Qlearning
Asber的博客
09-03 274
今天跟着莫烦学了Qlearning 自己手撸了一下 凑活着看 #include <iostream> #include <time.h> #include <string.h> #include <math.h> #include <cstdlib> #include <map> using namespace std...
Q-learning和Sarsa
wulin的博客
08-26 160
Q-Learning的目的是学习特定state下，特定action的价值。是建立一个Q-table，以state为行、action为列，通过每个动作带来的奖赏更新Q-table。是异策略，行动策略和评估策略不是一个策略。
强化学习中Q-Learning算法和SARSA算法的区别
小灰的博客
05-30 860
公式 Q-learning SARSA 区别 其实我认为俩者的区别就是在于更新的时候有没有考虑到e-greed贪恋算法中的随机这个因素，sarsa考虑到了，Q-learning没有考虑。为什么这么说呢？ 假设我们有三个状态S1 S2 S3 我们在使用SARSA的时候会用到S1 A1 R 和S2 A2（sarsa的构成），这个时候我们发现，我们的机器其实已经走到了S3这个位置，是在执行完A2这个动作之后，我们更新的是S1的Q表格 而Q-learning的区别在于，我们在更新Q表格的时候实际上我们还在S2这
【学习强化学习】三、Q learning和Sarsa算法
weixin_42301220的博客
02-24 1317
文章目录参考资料1. Q- table2. Model-free Prediction2.1 Monte-Carlo Policy Evaluation2.1.1 MC算法步骤2.1.2 incremental MC updates2.1.3 Difference between DP and MC for policy evaluation2.1.4 Advantages of MC over DP2.2 Temporal Difference2.2.1 TD 方法介绍2.2.2 Advantages o
强化学习之Q-learning和Sarsa
yangyangcome的博客
06-17 803
1）什么是强化学习？   简称RL，理解这一概念结合现实生活中的情况不难理解。这一概念抽象出来分为状态，动作以及奖励。以迷宫为例，状态指的是我当前所处的位置，动作指的是我可以采用何种方式进行移动，当然有的状态中并不能包含所有的动作，因为边界的限制以及各种障碍的限制。   形象一点就是给你安排了一个老师，他只是告诉你具体的分数，你需要根据这些分数做一定的抉择。 2）强化学习的分类   在线学习与离线学习：以人玩耍为例，前者是变更新边玩，本人在场，后者呢，是本人可以不在场，看着别人玩耍。代码中体现的话就是动作的
Q-learning和SARSA是时序差分强化学习还是蒙特卡洛强化学习
07-20
Q-learning和SARSA都属于时序差分强化学习方法，而不是蒙特卡洛强化学习方法。 时序差分强化学习是一种结合了动态规划和蒙特卡洛方法的强化学习方法。它通过使用经验数据进行增量式的更新，同时利用了当前和未来的估计值来逼近最优值函数。 具体来说，Q-learning和SARSA都是基于Q值函数的时序差分强化学习算法。 1. Q-learning：Q-learning是一种基于动态规划的无模型强化学习算法。它使用了时序差分（TD）方法，通过不断迭代更新Q值函数的估计值，使其逼近最优的Q值。Q-learning算法通过将当前状态和动作的估计值与下一个状态和动作的最大估计值相结合，来更新Q值函数的估计值。 2. SARSA：SARSA是一种基于时序差分的强化学习算法，也是一种模型-free的强化学习算法。SARSA算法使用了时序差分的方法，通过不断迭代更新Q值函数的估计值。与Q-learning不同的是，SARSA算法采用了一个策略（Policy）来决定下一个动作，并在更新Q值时使用下一个动作的估计值。 时序差分强化学习方法与蒙特卡洛强化学习方法相比，具有更高的效率和更好的适应性。它可以在每个时间步骤中进行更新，不需要等到任务结束后才进行更新，从而更快地收敛到最优策略。而蒙特卡洛强化学习方法则需要等到任务结束后才能获取完整的回报信息，进行全局更新。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值