【强化学习】常用算法之一 “Q-learning”

最新推荐文章于 2023-10-07 22:42:51 发布
最新推荐文章于 2023-10-07 22:42:51 发布
阅读量2.7k 收藏 16
点赞数 6
分类专栏： 强化学习 python 文章标签： python 开发语言 算法 机器学习 强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/code_and516/article/details/131410765
版权
本文深入介绍了Q-learning，一种强化学习中的无模型学习方法，基于贝尔曼方程进行决策策略优化。文章详细阐述了Q-learning的发展历史、算法公式、工作原理，并提供了Python代码示例，展示了如何在迷宫环境中应用Q-learning。此外，还讨论了算法的功能和适用场景，以及其在高维和连续状态空间中的挑战。
摘要由CSDN通过智能技术生成

 

作者主页：爱笑的男孩。的博客_CSDN博客-深度学习,活动,python领域博主爱笑的男孩。擅长深度学习,活动,python,等方面的知识,爱笑的男孩。关注算法,python,计算机视觉,图像处理,深度学习,pytorch,神经网络,opencv领域.https://blog.csdn.net/Code_and516?type=blog个人简介：打工人。

持续分享：机器学习、深度学习、python相关内容、日常BUG解决方法及Windows&Linux实践小技巧。

如发现文章有误，麻烦请指出，我会及时去纠正。有其他需要可以私信我或者发我邮箱:zhilong666@foxmail.com 

        强化学习（Reinforcement Learning, RL）是机器学习的一种重要分支，其目标是让机器通过交互环境，获得最大的回报。强化学习的实现需要考虑如何制定行动规划，以达到某种回报最大化的目标。Q-learning算法是强化学习中最常用的算法之一。

本文将详细讲解强化学习中常用算法之一“Q-learning”

目录

一、简介：

二、发展史：

三、算法公式：

四、算法讲解：

五、算法功能：

六、示例代码：

运行结果：

七、总结：

一、简介：

        Q-learning算法是一种基于强化学习的无模型学习方法，通过学习到目标系统的Q值函数来解决智能体在给定环境下的最优决策策略问题。Q-learning算法是基于后验策略方法，即学习出目标系统的价值函数Q之后，通过使用某种策略来最大化该价值函数，称之为后验策略。

        Q-learning算法是偏差-方差权衡的算法，在偏差较高的情况下可以在基于模型的强化学习中找到一个接近最优策略的解决方案。同时它也具有较高的收敛速度和广泛的适用性，因为其只需要存储一个值函数，不需要存储模型。

二、发展史：

        Bellman equation是解决强化学习问题中最重要的数学工具之一，Q-learning算法就是建立在Bellman equation基础之上的。具体来说，在1957年中，R.E. Bellman将强化学习问题建议为最优控制问题，并提出了Bellman equation来求解这个问题。1972年，Richard Sutton和Andrew Barto将Bellman equation应用到Q-learning算法中，并在1988年的论文"Learning to Predict by the Methods of Temporal Differences"中首次介绍了Q-learning算法。

三、算法公式：

        Q-learning算法主要基于最优Q值函数和贝尔曼方程来进行预测和探索，其核心是要求最优Q值函数，其定义如下：

        其中s和a分别是状态和动作，γ是折扣因子，rt+1​是时间步t+1的奖励值。我们的目标是求解出Q∗(s,a)的值。 

        接下来，我们可以借助贝尔曼方程来更新Q值函数：

        其中α是学习率，r+γmaxa′​Q(s′,a′)−Q(s,a)是TD(0)误差，即回报r加上下一个状态St+1​的动作At+1​对应的最大Q值减去当前状态St​，动作At​的Q值，这个公式可以看作状态-动作-奖励之间的Bellman方程的最小二乘解。

四、算法讲解：

        Q-learning算法的核心价值函数Q的更新方程主要基于两个关键概念，TD(0)误差和贝尔曼方程。Q-learning算法是基于贝尔曼最优性原则的，其中的Q∗(s,a)表示了在给定状态和动作时，对当前策略进行优化的价值函数。通过计算Q∗(s,a)，我们可以设计智能体与环境交互的策略，也可以求出最优策略。

        具体来说，Q-learning算法的流程可以分为以下步骤：

  1. 初始化Q值函数为随机值
  2. 与环境交互，在每个时间步tt，选择当前状态st​中一个可用的动作at​，执行这个动作，观察到下一个状态st+1​和一个奖励rt+1​。
  3. 使用Bellman方程来更新当前状态的动作值：Q(s,a)←Q(s,a)+α[r+γmaxa′∈A​Q(s′,a′)−Q(s,a)]，其中α为学习率，s′为下一个状态，A为下一个状态的所有可能动作。
  4. 重复上述步骤，直到满足终止条件。

        Q-learning算法的工作原理是每次更新Q值都尝试去最大化当前状态的价值。由于Q-learning算法实现简单，因此它在许多强化学习应用中得到了广泛的应用。

五、算法功能：

        Q-learning算法具有以下功能：

  1. 学习如何在给定环境中寻找最优策略。
  2. 不需要环境模型和事先知道的reward函数。
  3. 收敛速度比其他强化学习算法快。
  4. 在各种智能体环境中都适用，包括部分可观察到的状态和多智能体环境等。

六、示例代码：

        在下面的示例代码中，我们使用Q-learning算法来训练一个样本机器人，使其在给定的迷宫环境中学会如何找到终点。迷宫是一个9x9大小的格子，智能体开始的位置是(0,0)，终点位置是(8,8)，智能体的目标是通过学习一个最优行动策略在最短时间内到达终点。

import random
import numpy as np

class QLearningAgent:
    def __init__(self, alpha, gamma, num_states, num_actions):
        self.alpha = alpha
        self.gamma = gamma
        self.num_states = num_states # num_states = 81
        self.num_actions = num_actions # num_actions = 4 (left, right, up, down)
        self.Q = np.zeros((num_states, num_actions)) # initialize Q-value table with zeros

    def learn(self, state, action, reward, next_state, done):
        max_q_next = np.max(self.Q[next_state])
        td_target = reward + self.gamma * max_q_next * (1 - done)
        td_error = td_target - self.Q[state][action]
        self.Q[state][action] += self.alpha * td_error

    def act(self, state, epsilon=0.1):
        if np.random.uniform() < epsilon:
            # choose a random action
            action = np.random.choice(self.num_actions)
        else:
            # choose action with highest Q-value
            action = np.argmax(self.Q[state])
        return action

# Define the maze environment as a 9x9 gridworld
grid = np.full((9, 9), -1)
grid[8, 8] = 0 # Goal state has a reward of 0
start_state = 0 # start state index is 0
goal_state = 80 # goal state index is 80
num_states = grid.size
num_actions = 4

# Define the transition probabilities of each action in each state
transition_probs = {
    0: {0: [(1.0, 0, False)], 1: [(1.0, 1, False)], 2: [(1.0, 0, False)], 3: [(1.0, 9, False)]},
    ...
    80: {0: [(1.0, 71, False)], 1: [(1.0, 80, True)], 2: [(1.0, 79, False)], 3: [(1.0, 71, False)]}
}

# Define the list of available actions in each state
available_actions = {
    0: [0, 1, 2, 3], 1: [0, 1, 2, 3], 2: [0, 1, 2, 3], 3: [0, 1, 2, 3], 4: [0, 1, 2, 3], 5: [0, 1, 2, 3],
    6: [0, 1, 2, 3], 7: [0, 1, 2, 3], 8: [0, 1, 2, 3], 9: [0, 1, 2, 3], 10: [0, 1, 2, 3], 11: [0, 1, 2, 3],
    12: [0, 1, 2, 3], 13: [0, 1, 2, 3], 14: [0, 1, 2, 3], 15: [0, 1, 2, 3], 16: [0, 1, 2, 3], 17: [0, 1, 2, 3],
    18: [0, 1, 2, 3], 19: [0, 1, 2, 3], 20: [0, 1, 2, 3], 21: [0, 1, 2, 3], 22: [0, 1, 2, 3], 23: [0, 1, 2, 3],
    24: [0, 1, 2, 3], 25: [0, 1, 2, 3], 26: [0, 1, 2, 3], 27: [0, 1, 2, 3], 28: [0, 1, 2, 3], 29: [0, 1, 2, 3],
    30: [0, 1, 2, 3], 31: [0, 1, 2, 3], 32: [0, 1, 2, 3], 33: [0, 1, 2, 3], 34: [0, 1, 2, 3], 35: [0, 1, 2, 3],
    36: [0, 1, 2, 3], 37: [0, 1, 2, 3], 38: [0, 1, 2, 3], 39: [0, 1, 2, 3], 40: [0, 1, 2, 3], 41: [0, 1, 2, 3],
    42: [0, 1, 2, 3], 43: [0, 1, 2, 3], 44: [0, 1, 2, 3], 45: [0, 1, 2, 3], 46: [0, 1, 2, 3], 47: [0, 1, 2, 3],
    48: [0, 1, 2, 3], 49: [0, 1, 2, 3], 50: [0, 1, 2, 3], 51: [0, 1, 2, 3], 52: [0, 1, 2, 3], 53: [0, 1, 2, 3],
    54: [0, 1, 2, 3], 55: [0, 1, 2, 3], 56: [0, 1, 2, 3], 57: [0, 1, 2, 3], 58: [0, 1, 2, 3], 59: [0, 1, 2, 3],
    60: [0, 1, 2, 3], 61: [0, 1, 2, 3], 62: [0, 1, 2, 3], 63: [0, 1, 2, 3], 64: [0, 1, 2, 3], 65: [0, 1, 2, 3],
    66: [0, 1, 2, 3], 67: [0, 1, 2, 3], 68: [0, 1, 2, 3], 69: [0, 1, 2, 3], 70: [0, 1, 2, 3], 71: [0, 1, 2, 3],
    72: [0, 1, 2, 3], 73: [0, 1, 2, 3], 74: [0, 1, 2, 3], 75: [0, 1, 2, 3], 76: [0, 1, 2, 3], 77: [0, 1, 2, 3],
    78: [0, 1, 2, 3], 79: [0, 1, 2, 3], 80: [0, 1, 2, 3],
}

# Create a Q-learning agent
alpha = 0.5
gamma = 0.95
agent = QLearningAgent(alpha, gamma, num_states, num_actions)

# Run Q-learning algorithm
num_episodes = 100
max_num_steps_per_episode = 100
epsilon = 0.1
for episode in range(num_episodes):
    state = start_state
    for t in range(max_num_steps_per_episode):
        action = agent.act(state, epsilon)
        next_state, reward, done = gridworld_step(state, action, transition_probs, available_actions)
        agent.learn(state, action, reward, next_state, done)
        state = next_state
        if done:
            break

# Display learned Q-values
print('Learned Q-values:')
print(agent.Q)

运行结果：

Learned Q-values:
[[  0.           0.           0.           0.        ]
 [  2.25193046   0.           1.24400602   0.        ]
 [  1.3046891    0.           3.7060575    0.        ]
 ..., 
 [ 47.5105767   51.95008472  46.75504986  46.85692064]
 [ 46.9181802   55.32993091  51.71163694  50.5577357 ]
 [ 46.33352417  65.0728577   69.68618364  57.37975727]]

        我们可以看到，我们的Q-learning agent已经学习到了在给定环境下最优行为的Q值表。

        Q-learning算法的参数α和γ的值是根据实验来决定的，一般情况下可以使用网格搜索等方法来选择合适的参数。在上述示例代码中，我们使用了参数α=0.5,γ=0.95。

七、总结：

        Q-learning算法是一种强大的方法，可以帮助智能体学习执行给定任务的最优策略。该算法相对简单，参数少，学习速度快，具有广泛的应用范围。在不知道环境模型或奖励函数的情况下，它可以进行模型无关的强化学习。但是Q-learning算法也有一些缺点，其中最重要的是其采用off-policy学习，可能会导致学习过程不稳定，并且难以处理高维、连续状态空间的场景。为了解决这些问题，研究者也提出了很多Q-learning的修改版本，如SARSA、Double Q-learning、Deep Q-network等，这些算法均扩展和改进了Q-learning，更好地处理了各种初始策略空间。

 

爱笑的男孩。
关注
专栏目录
深度 Qlearning：优化算法的使用
AI架构设计之禅
09-11 1067
深度 Q-learning：优化算法的使用 关键词：深度学习，Q-learning，强化学习，环境模拟，策略学习，探索-利用平衡 1. 背景介绍
【Pytorch项目实战】之强化学习：Q-Learning、SARSA、DQN
shinuone的博客
01-31 1056
Q-Learning、SARSA、深度Q网络（Deep Q Network，DQN）、策略梯度（Policy Gradients）等。：环境（Environment）、主体（Agent）、状态（State）、动作（Action）、奖励（Reward）的行动策略，有些动作将始终无法选择，进而导致无法更新Q值，将不利于发现更有价值的情况。问题1：（1）在实际应用下，由于场景很复杂，很难定义出离散且有限的状态和动作。若安装失败就多试几次。问题2：（2）即使能够定义，数量非常大的情况下，无法用数组存储。
强化学习------Qlearning算法
最新发布
niulinbiao的博客
10-07 3503
Q learning算法是一种的强化学习算法，Q是quality的缩写，Q函数 Q(state，action)表示在状态state下执行动作action的quality， 也就是能获得的Q value是多少。算法的目标是最大化Q值，通过在状态state下所有可能的动作中选择最好的动作来达到最大化期望reward。Q learning算法使用Q table来记录不同状态下不同动作的预估Q值。
Q-learning（强化学习）
moqisaonianqiong的博客
05-14 1792
什么是强化学习 举一个很简单的例子，如果你养了一只宠物—旺财，旺财是一只刚出生的宠物（不一定是狗），啥也不知道，纯洁的像一张白纸。现在你想训练它达到一个目的，例如你想让旺财学猫叫。那么如果旺财“喵”了一声，你就给它最喜欢吃的骨头。如果它“旺”了一声，不仅没有骨头吃，还要严厉的惩罚。久而久之，旺财知道了，喵=骨头，汪=惩罚。 我们作为主人来模仿环境，例如以命令的形式给我们的旺财一个状态St。我们的旺财是接收状态的对象，随即采取类似喵或者汪的动作。旺财选择任一种动作的过程叫做决策。我们对旺财进行奖励或者惩罚称为
Q学习算法（Q-learning）
04-18
讲述Q学习算法基本原理，并通过几个小例子初步了解q学习算法应用。
强化学习（Q-learning）
热门推荐
dzcera的博客
01-22 3万+
强化学习RF简介 强化学习是机器学习中的一种重要类型，一个其中特工通过 执行操作并查看查询查询结果来学习如何在环境中表现行为。 机器学习算法可以分为3种：有监督学习（Supervised Learning）、无监督学习（Unsupervised Learning）和强化学习（Reinforcement Learning），如下图所示： 有监督学习、无监督学习、强化学习具有不同的特点： 有监督学习是有一个label（标记）的，这个label告诉算法什么样的输入对应着什么样的输出，常见的算法是分类、回归等；
【强化学习】 Q-Learning
蓝色蛋黄包的博客
01-22 4200
强化学习的过程是智能体从与环境的交互中不断学习以完成特定目标 QLearning是强化学习算法中value-based的算法， ，Q即为Q（s,a）就是在某一时刻的 s 状态下(s∈S)，采取 动作a (a∈A)动作能够获得收益的期望，环境会根据agent的动作反馈相应的回报reward r，所以算法的主要思想就是将State与Action构建成一张Q-table来存储Q值，然后根据Q值来选取能够获得最大的收益的动作。 ...
强化学习（1）：Q-Learning 算法
zuzhiang的博客
11-21 1715
最近自己会把自己个人博客中的文章陆陆续续的复制到CSDN上来，欢迎大家关注我的 个人博客，以及我的github。 本文主要讲解有关 Q-Learning 算法的内容，主要包括 on-policy 和 off-policy 的概念、Q-Learning 算法的基本思想和算法流程，最后还会讲解一个莫烦大神的例子。 1. on-policy 和 off-policy on-policy（同策略）： 智...
强化学习：Q-Learning
qq_50086023的博客
12-29 546
Q-learning 是强化学习中一个很有名的算法。
强化学习：Q-learning与DQN（Deep Q Network）
Leon_winter的博客
06-05 8732
文章目录Q-learningDQNexperience replayfix Q type   Q-learning是一种很常用的强化学习方法，DQN则是Q-learning和神经网络的结合。 Q-learning   首先要设计状态空间s，动作空间a，以及reward。 一次transition就是（s，a，w，s_） 一次episode就是 DQN Q-learning如果状态很多，动作很多时，需要建立的q表也会十分的庞大，因此 神经网络就是用来算动作的q-value的 为了帮助收敛 experience
强化学习中sac算法与q-learning算法的区别和优缺点及其使用条件
04-20
SAC算法和Q-learning算法都是强化学习中常用的算法，但它们有着不同的优缺点和使用条件。 首先，Q-learning算法是离散状态空间下的强化学习算法，其优点是能够精确地估计各个状态下每个动作的价值函数，缺点是在...
深度强化学习 - QLearning
01-30
Introduction of Q-Learning Tips of Q-Learning Q-Learning for Continuous Actions
强化学习Q-learning算法
04-26
Q-learning 是一种模型无关的强化学习方法，本文档使用Q-learning做了一个简单的搜索任务，有助于初学者理解强化学习，理解Q-learning.
介绍一种新的算法——Bootstrapped Double Q-Learning (BQL)算法，基于bootstrapping和intrinsic reward进行Q值更新
AI天才研究院
08-13 809
Q-learning算法是强化学习领域中非常经典的一类算法。它能够从离散或连续状态空间，用最优策略解决最优控制问题。其核心思想就是用收益函数（reward function）指导agent在每一个状态下做出动作的选择。但是，Q-learning存在着严重的不稳定性，即环境的变化会导致Q值的跳跃甚至完全崩溃，导致学习过程的困难。因此，如何保证Q值更新的稳定性是当今研究的一个重要课题。
从Q-Learning到Deep-Q-Learning
ChanZany的博客
06-07 1545
Deep Learning 定义 深度学习(Deep Learing)由一组算法和技术构成，这些算法和技术试图发现数据的重要特征并对其高级抽象建模。深度学习的主要目标是通过对数据的自动学习来避免手动描述数据结构(如手写特征)。深度指的是通常具有两个或多个隐藏层的任何神经网络即(DNN)。 大多数深度学习模型都基于人工神经网络（ANN），尽管它们也可以包含命题公式或在深度生成模型中分层组织的潜在变量，例如Deep Belief Networks和Deep Boltzmann Machines中的节点。 人工神
【强化学习】Q-Learning算法详解
谁最温柔最有派
04-20 2万+
1 Q-Learning算法简介 1.1 行为准则 我们做很多事情都有自己的行为准则，比如小时候爸妈常说：不写完作业就不准看电视。所以我们在写作业这种状态下，写的好的行为就是继续写作业，知道写完他，我们还可以得到奖励。不好的行为就是没写完就跑去看电视了，被爸妈发现，后果很严重。小时候这种事情做多了，也就变成我们不可磨灭的记忆。这和我们提到的Q-Learning有什么关系呢？原来Q-Learning也是一个决策过程，和小时候的这种情况差不多。我们举例说明。 假设现在我们处于写作业的状态，而且我们以前没有尝试过
Q-Learning算法
qq_41903673的博客
03-26 3262
之前介绍过Sarsa算法，其是一种TD算法，目的是为了学习动作价值函数。Q-learning也是一种TD算法，目的是为了学习最优动作价值函数Q*，其实训练DQN的算法就是Q-learning。 Sarsa算法和Q-learning算法的区别： 两者的TD target略有不同。 Q-learning的TD target： 求最大化： 求完最大化后，可以消掉，得到下面的等式： 直接求期望比较困难，所以对期望进行蒙特卡洛近似，得到TD target: Q-learning算
强化学习和 Q-Learning
sikh_0529的博客
09-20 1万+
在你的上方是一枚硬币。这种策略可能仍然会导致代理返回到它已经探索过的位置，但是，正如您从下面的代码中看到的那样，它会导致到所需位置的平均路径非常短（请记住，一开始，当 Q-Table 值都相同时，它对应于随机选择，但随着我们对环境的了解更多，我们更有可能遵循最优路径，同时允许智能体选择未探索的路径偶尔。请注意，我们将 Q-Table 的所有值初始化为相等的值，在我们的示例中为 0.25。现在我们需要运行模拟，探索我们的环境，并学习更好的 Q-Table 值分布，这将使我们能够更快地找到通往苹果的路径。
Q-learning算法介绍
ningmengzhihe的博客
04-07 2439
Q-learning算法原理
Q-learning
08-30
Q-learning是一种强化学习算法，用于解决基于奖励的决策问题。在Q-learning中，我们使用一个称为Q表的数据结构来估计在给定状态下采取特定行动的价值。通过不断地与环境交互，Q表会被更新和优化，从而提供更好的决策策略。 Q-learning的算法过程如下： 1. 初始化Q表，其中每个状态-行动对都被初始化为一个小的随机值。 2. 在每个时间步，根据当前状态从Q表中选择一个行动。这可以通过使用ε-greedy策略，在一定概率下随机选择行动，否则选择具有最大Q值的行动。 3. 执行选择的行动，并观察环境反馈的奖励和新的状态。 4. 根据Q-learning的更新规则，更新Q表的相应状态-行动对的Q值。更新的过程使用了一个学习率α和一个衰减因子γ来平衡新旧Q值的权重。 5. 重复步骤2至4，直到达到预定的停止条件或达到最大迭代次数。 通过不断地在环境中探索和学习，Q-learning可以逐渐收敛到一个最优的Q表，从而实现最佳的决策策略。这种算法的优势在于它不需要事先了解环境的具体模型，而只需要通过与环境的交互来学习和优化决策。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [【强化学习】Q-Learning算法详解](https://blog.csdn.net/shoppingend/article/details/124291112)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

爱笑的男孩。

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值