Q学习（Q-learning）入门小例子及python实现

最新推荐文章于 2024-08-01 16:44:33 发布
最新推荐文章于 2024-08-01 16:44:33 发布
阅读量4.6w 收藏 529
点赞数 92
文章标签： Q学习 入门案例 Python 强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wlm_py/article/details/101301986
版权

一、从马尔科夫过程到Q学习

# 有一定基础的读者可以直接看第二部分

Q学习（Q-learning）算法是一种与模型无关的强化学习算法，以马尔科夫决策过程（Markov Decision Processes, MDPs）为理论基础。

标准的马尔科夫决策过程可以用一个五元组<S,A,P,R,γ> 表示，其中：

  • S是一个离散有界的状态空间；
  • A是一个离散的动作空间； 
  • P为状态转移概率函数，表示agent在状态s下选取动作a后转移到a'的概率；
  • R为回报函数，用于计算agent由当前状态 选取动作 后转移到下一状态 得到的立即回报值，由当前状态和选取的动作决定，体现了马尔科夫性的特点；
  • γ是折扣因子，用于确定延迟回报与立即回报的相对比例， 越大表明延迟回报的重要程度越高。

马尔科夫决策问题的目标是找到一个策略 ，使其回报函数 的长期累积值的数学期望

 

最大。其中，策略π只和状态相关，与时间无关（静态的）。  是t时刻的环境状态，  是t时刻选择的动作。

根据Bellman最优准则，得到最优策略 对应的最优指标为：

其中， R(s,a)为r(st,at)的数学期望， 为在状态s下选取动作a后转移到下一状态状态s'的概率。由于某些环境中状态之间的转移概率P不容易获得，直接学习 是很困难的，而Q学习不需要获取转移概率P，因而可用来解决此类具有马尔科夫性的问题。

Q学习是一种与环境无关的算法，是一种基于数值迭代的动态规划方法。定义一个Q函数作为评估函数：

最低0.47元/天 解锁文章
葭月丶拾玖
关注
QLearning算法实现：Python代码实战
程序员光剑
08-07 1067
Q-Learning算法实现：Python代码实战 1. 背景介绍 1.1 强化学习概述 强化学习(Reinforcement Learning, RL)是机器学习的一个重要分支,它研究如何让智能体(Agent)在与环境的交
[机器学习算法] Q学习
藓类少女的博客
06-20 1187
Q学习（Q-Learning）是一种基于值的强化学习算法，用于在给定状态下选择动作，以最大化累积奖励。它通过不断更新一个称为Q表（Q-table）的表来学习动作的价值。
强化学习时序差分算法之Q-learning算法——以悬崖漫步环境为例
最新发布
佚名
08-01 984
打印出的回报是行为策略在环境中交互得到的，而不是Q-learning算法在学习的目标策略的真实回报，目标策略打印出来如上所示，发现其更偏向于走在悬崖边上，这与Sarsa算法得到的比较保守的策略相比更优。基于时序差分算法的强化学习算法除了Sarsa算法以外还有一种著名算法为Q-learning算法，为离线策略算法，与在线策略算法Sarsa算法相比，其时序差分更新方式变为。3.Q-learning算法实现。2.悬崖漫步环境实现环节。4.打印目标策略函数。6.程序主体部分实现。
python q-learning
09-05
一个用python语言来实现的 q-learning实例，供学习参考。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。
18. 强化学习（Q Learning） python代码实现
05-08
Q函数、greedy策略，强化学习基础实例，采用python语言代码实现
Q学习例子
weixin_47898971的博客
12-13 1520
假设建筑物中有5个房间，如上图所示。我们将每个房间的编号设为0到4.建筑物的外部可以被认为是一个大房间（5）。当然，5号房间的回报率为100，其他所有与目标房间的直接连接奖励为100。 Q（1,5）= R（1,5）+ 0.8 * Max [] = 100 + 0.8 * 0 = 100 机器人从状态2开始，我们希望他能够学习到房子外面状态5。 状态列表： 状态0可到达——>状态4； 状态1可到达——>状态3、5； 状态2可到达——>状态3； 状态3可到达——>状态1、..
QLearning算法实现（python）
qq_44600572的博客
09-10 4214
Q学习、QLearning算法的讲解
Q学习算法（Q-learning）
04-18
讲述Q学习算法基本原理，并通过几个小例子初步了解q学习算法应用。
深度强化学习研究笔记（2）——Q-learning（Q-learning问题描述，Q-table方法，一个Python小例子）
越野者的博客
03-16 7852
文章目录1. Q-learning2. 1. Q-learning Q-learning是一种典型的基于价值（Value）函数的强化学习方法，其中的Q是一个数值，通常在初始化时有可能被赋予一个任意数值（因问题场景而异），在迭代时刻ttt，我们有状态sts_tst​，此时代理做出动作ata_tat​，然后得到奖励rtr_trt​，从而进入到一个更新的状态st+1s_{t+1}st+1​，从而Q值得到...
Q-Learning 简介：初学者教程（1）
gongdiwudu的专栏
05-30 2975
强化学习强调无模型学习算法，因此出现Q-Learning，Q-Learning算法酷似“有限状态自动机”模型，只是增加了奖励机制和Agent机制，而Agent与粒子群算法、蒙特卡洛算法是有关的。本文介绍这个算法框架。
Q_learning代码实例
04-19
Q_learnning代码实例，是一个非常好的学习强化学习的例子，小方块走迷宫
Python-QLearning强化学习自动交易机器人
08-11
Q Learning强化学习自动交易机器人
Q学习，matlab
04-18
Q学习，很有帮助.jie shao le Q-learning de ji ben shiyong
python-learning.rar_learning python
09-20
"python-learning.rar_learning python" 这个压缩包显然集合了一些资源，旨在帮助那些刚开始接触Python编程的新手。 首先，我们要理解"冒泡排序"。这是一种基础的排序算法，工作原理是通过重复遍历待排序的列表，...
强化学习入门4—Q-learning和Sarsa
小菜羊的博客
08-21 1209
本文是强化学习入门系列的第4篇，主要介绍强化学习当中非常常见的两个时序差分算法：Q-learning和Sarsa。
什么是 Q-learning
aliceyangxi1987的博客
09-15 2443
我们以一个迷宫寻宝的游戏为例来看什么是 Q-learning。 在这个游戏中，agent 从一个给定的位置开始，即起始状态。 在不穿越迷宫墙壁的前提下，在每个状态时，都可以选择上下左右四个方向走一步，或者原地不动， 上下左右这四个动作的每一个都会将 agent 带到网格的一个新的单元格，即新的状态， 在迷宫中有一个网格处有宝箱，这个网格就是目标状态， 此外，在某些网格处还有一些炸弹， ...
q learning简单理解_如何用简单例子讲解 Q learning 的具体过程？
weixin_39844525的博客
11-26 665
想了解更多好玩的人工智能应用，请关注公众号“机器AI学习 数据AI挖掘”，”智能应用"菜单中包括：颜值检测、植物花卉识别、文字识别、人脸美妆等有趣的智能应用。。一、Bandit算法回顾，MDP简单介绍首先，我们指出在bandit算法中主要有两类流行的算法，一类是贪心算法(如uniform exploration， -greedy算法)，还有一类是基于upper confidence b...
Q学习（Q-Learning）
weixin_43156294的博客
05-30 1263
Q学习（Q-Learning）是一种强化学习算法，它属于无模型预测算法，用于解决马尔可夫决策过程（MDP）问题。Q学习算法的核心思想是通过学习一个动作价值函数（Q函数），来评估在给定状态下采取某个动作的期望效用。
python实现Q-learning
06-08
Q-learning是一种基于值的强化学习算法，它可以学习到一个最优的策略，使得在某个环境下，智能体可以最大化累计的奖励。下面是一个简单的Python实现示例： ```python import numpy as np # 定义环境 env = np.array([[0, 0, 0, 0, 0], [0, 0, -1, 0, 0], [0, 0, 0, -1, 0], [0, -1, 0, 1, 0], [0, 0, 0, 0, 0]]) # 定义参数 gamma = 0.8 # 折扣因子 alpha = 0.5 # 学习率 epsilon = 0.1 # 探索率 num_episodes = 1000 # 训练轮数 # 初始化Q表 Q = np.zeros((env.shape[0], env.shape[1], 4)) # 定义动作 actions = ['up', 'down', 'left', 'right'] # Q-learning算法主循环 for episode in range(num_episodes): # 初始化状态 state = (0, 0) # 循环直到到达目标状态 while True: # 选择动作 if np.random.uniform(0, 1) < epsilon: action = np.random.choice(actions) else: action = actions[np.argmax(Q[state[0], state[1]])] # 执行动作 if action == 'up': next_state = (max(state[0]-1, 0), state[1]) elif action == 'down': next_state = (min(state[0]+1, env.shape[0]-1), state[1]) elif action == 'left': next_state = (state[0], max(state[1]-1, 0)) elif action == 'right': next_state = (state[0], min(state[1]+1, env.shape[1]-1)) # 计算奖励 reward = env[next_state[0], next_state[1]] # 更新Q表 Q[state[0], state[1], actions.index(action)] += alpha * (reward + gamma * np.max(Q[next_state[0], next_state[1]]) - Q[state[0], state[1], actions.index(action)]) # 更新状态 state = next_state # 判断是否到达目标状态 if env[state[0], state[1]] == 1: break # 输出最优策略 state = (0, 0) while True: action = actions[np.argmax(Q[state[0], state[1]])] print(action) if action == 'up': state = (max(state[0]-1, 0), state[1]) elif action == 'down': state = (min(state[0]+1, env.shape[0]-1), state[1]) elif action == 'left': state = (state[0], max(state[1]-1, 0)) elif action == 'right': state = (state[0], min(state[1]+1, env.shape[1]-1)) if env[state[0], state[1]] == 1: break ``` 在这个例子中，我们使用了一个简单的5x5环境，其中0表示空格，-1表示障碍物，1表示目标状态。我们使用Q表来存储智能体对每个状态和动作的估计值，通过不断与环境交互，智能体可以学习到一个最优的Q表，从而得到最优的策略。 在主循环中，我们按照Q-learning算法的步骤循环执行，直到到达目标状态。在每个时间步，我们首先根据当前状态和Q表选择一个动作，然后执行该动作并观察下一个状态和奖励，最后更新Q表。在每个时间步中，我们使用贪心策略或epsilon-greedy策略来选择动作。 最后，我们使用已经学习到的Q表输出最优的策略。在这个例子中，我们从初始状态开始，按照Q表中估计值最大的动作依次执行，直到到达目标状态。
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值