迷宫求解机器人：基于Pygame与Q-learning的强化学习实战教程

最新推荐文章于 2025-04-24 17:23:10 发布
最新推荐文章于 2025-04-24 17:23:10 发布
阅读量956 收藏 12
点赞数 17
文章标签： pygame 机器人 python 强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_72958694/article/details/147316532
版权

引言：智能体的诞生

在人工智能的浩瀚宇宙中，强化学习犹如一颗璀璨的新星，它让机器具备了类似生物体的学习能力。今天，我们将亲手打造一位具备环境感知能力的智能体——迷宫求解机器人。它将在虚拟的迷宫世界中探索、学习，最终找到通往自由的道路。这不仅是一场代码与算法的交响，更是对人类智能奥秘的一次致敬。

一、环境搭建：工欲善其事，必先利其器

1.1 技术栈简介

  • Python：作为最受欢迎的编程语言之一，Python以其简洁的语法和丰富的生态系统成为实现本项目的首选。
  • Pygame：一个专为游戏开发设计的库，我们将用它来构建迷宫的可视化环境。
  • NumPy：提供高效的数组操作，是处理Q表等矩阵运算的利器。
  • Matplotlib：用于训练过程的数据可视化，让学习曲线一目了然。

1.2 安装依赖

打开终端，运行以下命令安装所需库：

bash复制代码

pip install pygame numpy matplotlib

二、迷宫构建：打造智能体的训练场

2.1 迷宫设计原则

  • 网格化表示：将迷宫划分为N×N的网格，每个单元格代表一个状态。
  • 障碍物设置：用特定值标记墙壁，其余为可通行区域。
  • 起点与终点：固定起点于左上角，终点于右下角，增加任务挑战性。

2.2 Pygame可视化实现

import pygame
import numpy as np
 
# 初始化Pygame
pygame.init()
 
# 迷宫参数
GRID_SIZE = 40  # 每个网格的像素大小
MAZE_SIZE = 10  # 10x10网格
WINDOW_WIDTH = MAZE_SIZE * GRID_SIZE
WINDOW_HEIGHT = MAZE_SIZE * GRID_SIZE
 
# 颜色定义
BLACK = (0, 0, 0)
WHITE = (255, 255, 255)
RED = (255, 0, 0)
GREEN = (0, 255, 0)
BLUE = (0, 0, 255)
 
# 创建窗口
screen = pygame.display.set_mode((WINDOW_WIDTH, WINDOW_HEIGHT))
pygame.display.set_caption("迷宫求解机器人")
 
# 生成迷宫矩阵（0:通路, 1:墙壁）
maze = np.zeros((MAZE_SIZE, MAZE_SIZE), dtype=int)
# 设置外围墙壁
maze[0, :] = 1
maze[-1, :] = 1
maze[:, 0] = 1
maze[:, -1] = 1
# 内部随机生成障碍物
np.random.seed(42)  # 固定随机种子保证可重复性
for _ in range(15):  # 生成15个内部障碍物
    x = np.random.randint(1, MAZE_SIZE-1)
    y = np.random.randint(1, MAZE_SIZE-1)
    maze[x, y] = 1
 
# 绘制迷宫函数
def draw_maze():
    screen.fill(BLACK)
    for x in range(MAZE_SIZE):
        for y in range(MAZE_SIZE):
            if maze[x, y] == 1:
                pygame.draw.rect(screen, WHITE, 
                               (x*GRID_SIZE, y*GRID_SIZE, GRID_SIZE, GRID_SIZE))
    pygame.display.update()
 
# 初始化机器人位置
robot_pos = [1, 1]
 
# 主循环
running = True
while running:
    for event in pygame.event.get():
        if event.type == pygame.QUIT:
            running = False
    
    draw_maze()
    # 绘制机器人
    robot_rect = pygame.Rect(robot_pos[0]*GRID_SIZE, robot_pos[1]*GRID_SIZE, 
                           GRID_SIZE-2, GRID_SIZE-2)
    pygame.draw.rect(screen, RED, robot_rect)
    pygame.display.update()
 
pygame.quit()

这段代码创建了一个10x10的迷宫，其中：

  • 黑色背景代表不可见区域
  • 白色方块为墙壁
  • 红色方块代表机器人

三、Q-learning核心：智能体的学习引擎

3.1 Q表原理

Q表是一个状态-动作价值矩阵，其中Q[s][a]表示在状态s采取动作a的预计收益。通过不断更新Q值，智能体学会在不同状态下做出最优决策。

3.2 动作空间定义

定义四个基本动作：

  • 上移(0)
  • 右移(1)
  • 下移(2)
  • 左移(3)

3.3 Q表初始化

# Q表初始化
actions = ['up', 'right', 'down', 'left']
q_table = np.zeros((MAZE_SIZE*MAZE_SIZE, len(actions)))

3.4 学习参数设置

# 学习参数
learning_rate = 0.1
discount_factor = 0.99
epsilon = 0.1  # 探索率
episodes = 1000

四、探索-利用策略：平衡冒险与保守

4.1 ε-greedy策略

  • 探索阶段：以ε概率随机选择动作，保持对未知的好奇
  • 利用阶段：以1-ε概率选择当前Q值最高的动作，利用已有经验

4.2 动作选择函数

def choose_action(state, epsilon):
    if np.random.random() < epsilon:
        return np.random.choice(len(actions))
    else:
        return np.argmax(q_table[state])

五、训练循环：智能体的进化之旅

5.1 状态转换逻辑

def move_robot(pos, action):
    new_pos = pos.copy()
    if actions[action] == 'up' and new_pos[1] > 0 and maze[new_pos[0], new_pos[1]-1] == 0:
        new_pos[1] -= 1
    elif actions[action] == 'right' and new_pos[0] < MAZE_SIZE-1 and maze[new_pos[0]+1, new_pos[1]] == 0:
        new_pos[0] += 1
    elif actions[action] == 'down' and new_pos[1] < MAZE_SIZE-1 and maze[new_pos[0], new_pos[1]+1] == 0:
        new_pos[1] += 1
    elif actions[action] == 'left' and new_pos[0] > 0 and maze[new_pos[0]-1, new_pos[1]] == 0:
        new_pos[0] -= 1
    return new_pos

5.2 奖励机制

  • 到达终点：奖励+100
  • 撞墙或越界：奖励-10
  • 其他移动：奖励-1

5.3 Q值更新公式

def update_q_table(state, action, reward, next_state):
    predict = q_table[state, action]
    target = reward + discount_factor * np.max(q_table[next_state])
    q_table[state, action] = q_table[state, action] + learning_rate * (target - predict)

5.4 完整训练循环

# 训练过程记录
rewards = []
 
# 训练循环
for episode in range(episodes):
    state = robot_pos[0] * MAZE_SIZE + robot_pos[1]  # 将坐标转换为状态索引
    total_reward = 0
    
    while True:
        # 选择动作
        action = choose_action(state, epsilon)
        
        # 执行动作
        new_pos = move_robot(robot_pos, action)
        new_state = new_pos[0] * MAZE_SIZE + new_pos[1]
        
        # 计算奖励
        if new_pos == [MAZE_SIZE-2, MAZE_SIZE-2]:  # 到达终点
            reward = 100
            total_reward += reward
            update_q_table(state, action, reward, new_state)
            break
        elif (new_pos[0] == 0 or new_pos[0] == MAZE_SIZE-1 or 
              new_pos[1] == 0 or new_pos[1] == MAZE_SIZE-1) or maze[new_pos[0], new_pos[1]] == 1:
            reward = -10
        else:
            reward = -1
        
        total_reward += reward
        update_q_table(state, action, reward, new_state)
        
        state = new_state
        robot_pos = new_pos.copy()
    
    # 衰减探索率
    epsilon *= 0.995
    
    # 记录奖励
    rewards.append(total_reward)
    
    # 打印训练进度
    if episode % 100 == 0:
        print(f"Episode {episode}, Total Reward: {total_reward}")

六、可视化训练过程：见证成长的轨迹

6.1 绘制奖励曲线

import matplotlib.pyplot as plt
 
plt.figure(figsize=(10,5))
plt.plot(rewards)
plt.title("Training Rewards")
plt.xlabel("Episode")
plt.ylabel("Total Reward")
plt.show()

6.2 Q表热力图

# 选择一个状态查看Q值分布
sample_state = 55  # 随机选择一个状态
plt.imshow(q_table[sample_state].reshape(1, -1), cmap='hot', interpolation='nearest')
plt.title(f"Q-values for State {sample_state}")
plt.xlabel("Action")
plt.yticks([])
plt.show()

七、完整代码整合

将上述代码片段整合为完整可运行的Python脚本：

# 完整代码
import pygame
import numpy as np
import matplotlib.pyplot as plt
 
# 初始化Pygame
pygame.init()
 
# 迷宫参数
GRID_SIZE = 40
MAZE_SIZE = 10
WINDOW_WIDTH = MAZE_SIZE * GRID_SIZE
WINDOW_HEIGHT = MAZE_SIZE * GRID_SIZE
 
# 颜色定义
BLACK = (0, 0, 0)
WHITE = (255, 255, 255)
RED = (255, 0, 0)
GREEN = (0, 255, 0)
BLUE = (0, 0, 255)
 
# 创建窗口
screen = pygame.display.set_mode((WINDOW_WIDTH, WINDOW_HEIGHT))
pygame.display.set_caption("迷宫求解机器人")
 
# 生成迷宫矩阵
maze = np.zeros((MAZE_SIZE, MAZE_SIZE), dtype=int)
maze[0, :] = 1
maze[-1, :] = 1
maze[:, 0] = 1
maze[:, -1] = 1
np.random.seed(42)
for _ in range(15):
    x = np.random.randint(1, MAZE_SIZE-1)
    y = np.random.randint(1, MAZE_SIZE-1)
    maze[x, y] = 1
 
def draw_maze():
    screen.fill(BLACK)
    for x in range(MAZE_SIZE):
        for y in range(MAZE_SIZE):
            if maze[x, y] == 1:
                pygame.draw.rect(screen, WHITE, 
                               (x*GRID_SIZE, y*GRID_SIZE, GRID_SIZE, GRID_SIZE))
    pygame.display.update()
 
# Q-learning参数
actions = ['up', 'right', 'down', 'left']
q_table = np.zeros((MAZE_SIZE*MAZE_SIZE, len(actions)))
learning_rate = 0.1
discount_factor = 0.99
epsilon = 0.1
episodes = 1000
 
def choose_action(state, epsilon):
    if np.random.random() < epsilon:
        return np.random.choice(len(actions))
    else:
        return np.argmax(q_table[state])
 
def move_robot(pos, action):
    new_pos = pos.copy()
    if actions[action] == 'up' and new_pos[1] > 0 and maze[new_pos[0], new_pos[1]-1] == 0:
        new_pos[1] -= 1
    elif actions[action] == 'right' and new_pos[0] < MAZE_SIZE-1 and maze[new_pos[0]+1, new_pos[1]] == 0:
        new_pos[0] += 1
    elif actions[action] == 'down' and new_pos[1] < MAZE_SIZE-1 and maze[new_pos[0], new_pos[1]+1] == 0:
        new_pos[1] += 1
    elif actions[action] == 'left' and new_pos[0] > 0 and maze[new_pos[0]-1, new_pos[1]] == 0:
        new_pos[0] -= 1
    return new_pos
 
def update_q_table(state, action, reward, next_state):
    predict = q_table[state, action]
    target = reward + discount_factor * np.max(q_table[next_state])
    q_table[state, action] = q_table[state, action] + learning_rate * (target - predict)
 
# 训练过程
rewards = []
robot_pos = [1, 1]
 
for episode in range(episodes):
    state = robot_pos[0] * MAZE_SIZE + robot_pos[1]
    total_reward = 0
    
    while True:
        action = choose_action(state, epsilon)
        new_pos = move_robot(robot_pos, action)
        new_state = new_pos[0] * MAZE_SIZE + new_pos[1]
        
        if new_pos == [MAZE_SIZE-2, MAZE_SIZE-2]:
            reward = 100
            total_reward += reward
            update_q_table(state, action, reward, new_state)
            break
        elif (new_pos[0] == 0 or new_pos[0] == MAZE_SIZE-1 or 
              new_pos[1] == 0 or new_pos[1] == MAZE_SIZE-1) or maze[new_pos[0], new_pos[1]] == 1:
            reward = -10
        else:
            reward = -1
        
        total_reward += reward
        update_q_table(state, action, reward, new_state)
        
        state = new_state
        robot_pos = new_pos.copy()
    
    epsilon *= 0.995
    rewards.append(total_reward)
    
    if episode % 100 == 0:
        print(f"Episode {episode}, Total Reward: {total_reward}")
 
# 可视化训练结果
plt.figure(figsize=(10,5))
plt.plot(rewards)
plt.title("Training Rewards")
plt.xlabel("Episode")
plt.ylabel("Total Reward")
plt.show()
 
# 最终演示
running = True
while running:
    for event in pygame.event.get():
        if event.type == pygame.QUIT:
            running = False
    
    draw_maze()
    current_state = robot_pos[0] * MAZE_SIZE + robot_pos[1]
    best_action = np.argmax(q_table[current_state])
    new_pos = move_robot(robot_pos, best_action)
    
    # 绘制机器人路径
    for x in range(MAZE_SIZE):
        for y in range(MAZE_SIZE):
            if [x, y] == robot_pos.tolist():
                pygame.draw.rect(screen, RED, 
                               (x*GRID_SIZE, y*GRID_SIZE, GRID_SIZE-2, GRID_SIZE-2))
    pygame.draw.rect(screen, BLUE, 
                   (new_pos[0]*GRID_SIZE, new_pos[1]*GRID_SIZE, GRID_SIZE-2, GRID_SIZE-2))
    
    robot_pos = new_pos.copy()
    if robot_pos == [MAZE_SIZE-2, MAZE_SIZE-2]:
        running = False
    pygame.display.update()
 
pygame.quit()

八、结论与展望

我们成功构建了一个具备环境感知能力的迷宫求解机器人。通过Q-learning算法，机器人学会了在复杂迷宫中找到最优路径。这个过程不仅展示了强化学习的魅力，也为解决类似序贯决策问题提供了通用框架。

未来的改进方向包括：

  1. 深度Q网络(DQN)：使用神经网络近似Q函数，处理更大规模的状态空间
  2. 优先级经验回放：提高样本利用效率
  3. 多智能体协作：研究多个机器人协同求解复杂迷宫
  4. 三维环境扩展：将二维迷宫扩展到三维空间，增加任务复杂度

这个项目的完整代码和详细教程为初学者提供了进入强化学习领域的理想入口。通过动手实践，你可以更深刻地理解智能决策的本质，为后续的研究和应用打下基础。现在，轮到你在这个基础上继续探索，创造属于你自己的智能奇迹！

Tech Synapse
关注
强化学习中Sarsa与Q-Learning结果对比及可视化
weixin_37522117的博客
11-06 1509
本文叙述了强化学习中的qlearning和sarsa算法，在悬崖漫步环境对两种算法进行对比试验，输出其对比结果并可视化其策略。
【蘑菇书】【第一章】【强化学习基础】
wq6qeg88的博客
08-02 784
*强化学习（reinforcement learning，RL）**讨论的问题是智能体（agent）怎么在复杂、不确定的环境（environment）中最大化它能获得的奖励。如图 1.1 所示，强化学习由两部分组成：智能体和环境。在强化学习过程中，智能体与环境一直在交互。智能体在环境中获取某个状态后，它会利用该状态输出一个动作 （action），这个动作也称为决策（decision）。然后这个动作会在环境中被执行，环境会根据智能体采取的动作，输出下一个状态以及当前这个动作带来的奖励。
【强化学习】Q-learning训练AI走迷宫
HYY的博客
07-27 3953
Q-learning是一种基于强化学习的算法，用于解决Markov决策过程（MDP）中的问题。这类问题我们理解为一种可以用有限状态机表示的问题。它具有一些离散的状态state、每一个state可以通过动作action转移到另外一个state。每次采取action，这个action都会带有一些奖励reward（也可以是负数，这样就表示惩罚了）。在Q-learning中，我们有一个智能体（Agent）和一个环境（Environment）。智能体可以在环境中执行动作，并从环境中获取奖励作为反馈。
PaddlePaddle版Flappy-Bird—使用DQN算法实现游戏智能
Paper weekly
04-26 1642
刚刚举行的 WAVE SUMMIT 2019 深度学习开发者峰会上，PaddlePaddle 发布了 PARL 1.1 版本，这一版新增了 IMPALA、A3C、A2C ...
Python 深度强化学习教程（一）
龙哥盟
08-19 1586
强化学习是发展最快的学科之一，正在帮助人工智能成为现实。将深度学习与强化学习相结合已经导致了许多重大进步，这些进步越来越多地让机器接近人类的行为方式。在本书中，我们将从基础开始，以掌握该领域的一些最新发展结束。使用 PyTorch 和 TensorFlow 将会很好地混合理论(用最少的数学)和代码实现。在这一章中，我们将设置背景，并为你在本书的其余部分做好一切准备。
200个Python练手项目源码
我的Python教程
02-13 890
基础项目篇：用Python实现简单的计算器 Python初学者必做：制作一个待办事项列表 从零开始：创建一个Python猜数字游戏 Python基础项目：构建一个简单的文本编辑器 初学者指南：用Python编写一个石头、剪刀、布游戏 Python入门项目：制作一个基本的命令行菜单程序 轻松上手：用Python创建一个简单的密码生成器
基于gym的q-learning强化学习实践
07-18
在本实践项目中，我们探讨了如何利用OpenAI的Gym库进行Q-learning强化学习算法的应用。Gym是一个广泛使用的Python库，它为各种环境提供了一个标准接口，这些环境可以用于训练和测试强化学习算法。这里，我们专注于...
强化学习Q-Learning Python可视化代码 训练智能体移动到目标点 Pygame
08-07
本项目是一个简单的Q-learning算法在pygame环境下的实现，训练一个自主学习的智能体（agent）在一个5x5的网格环境中移动，使得智能体能够以最大概率到达目标位置。 学习规则： - 智能体（蓝色圆点）可以在一个5x5的...
spygame：基于Pygame和Level-TMX文件的2D游戏引擎
02-03
将游戏引擎与强化学习结合，可以让AI代理在游戏环境中进行训练，通过试错学习策略，比如解决迷宫问题或实现智能角色的行为。"openai-rllab"也是类似的强化学习框架，可能暗示"spygame"可以作为这些学习算法的测试...
PyGame-学习-环境：PyGame学习环境（PLE）-Python中的强化学习环境
02-04
PyGame学习环境（PLE）是一种学习环境，模仿了界面，可以快速开始使用Python进行强化学习。 PLE的目标是使从业人员可以专注于模型和实验的设计，而不是环境设计。 PLE希望最终建立一个广阔的游戏库。 接受游戏的...
基于python的强化学习算法Q-learning设计与实现
04-16
在本主题"基于python的强化学习算法Q-learning设计与实现"中，我们将深入探讨如何利用Python这一强大的开发语言来实现Q-learning算法。Python因其易读性、丰富的库支持和强大的科学计算能力，成为许多数据科学家和AI...
智能清洁机器人中的实时操作系统应用研究
望获实时Linux系统
04-24 727
综上所述，实时操作系统在智能清洁机器人中发挥着至关重要的作用，通过高效的传感器融合和路径规划算法，提升了机器人的导航和工作效率。例如，通过将激光雷达的测距数据与3D视觉传感器的图像数据相结合，机器人可以更准确地识别障碍物的位置和形状，从而提高导航的精度。石头扫地机器人G30 Space探索版搭载先进的实时操作系统，其RRMind GPT作为智慧大脑，除了具备深度思考、即问即答、产品保障等功能，还能与用户随意互动，让用户与机器人的交互更加自然。未来，智能清洁机器人将更加注重环保和节能。
机器人新革命：Pi 0.5如何让智能走进千家万户
wuhanwhite的博客
04-24 554
在科技飞速发展的今天，机器人技术正在以一种令人惊喜的方式贴近我们的生活。最近，Physical Intelligence 公司推出了 Pi 0.5 版本，这一创新设计不仅颠覆了传统机器人的运作模式，更让我们看到了未来智能设备融入日常生活的无限可能。Pi 0.5 的核心理念很简单却极具革命性：将机器人的“大脑”分散到身体的每一个角落，而不是集中在一个中央处理器上。想象一下，每个手指、每个关节、甚至一块柔软的硅胶皮肤都拥有自己的微型神经网络，能够即时感知、决策和调整。
FANUC机器人GI与GO位置数据传输设置
weixin_54858125的博客
04-23 1038
FANUC机器人GI与GO位置数据传输设置的方法
机器人结构认知与安装
最新发布
aubo_academy的博客
04-24 266
视频系统讲解了ES机器人的结构组成、硬件接口、控制手柄操作、安全规范及安装流程，强调安全协作与精准安装的重要性，同时覆盖软件控制与调试功能。机器人结构认知与安装。
6N60-ASEMI机器人功率器件专用6N60
04-21 352
6N60-ASEMI机器人功率器件专用6N60
Mujoco & robosuite 机器人模型
FL1717的博客
04-22 483
【代码】Mujoco & robosuite 机器人模型。
用高斯溅射技术跨越机器人模拟与现实的鸿沟：SplatSim 框架解析
weixin_68094467的博客
04-23 641
在机器人领域，让机器人在现实世界中精准执行任务是大家一直追求的目标。可模拟环境和现实世界之间存在着不小的差距，特别是基于 RGB 图像的操作策略，从模拟转移到现实时总是状况百出。今天咱们就来聊聊 SplatSim 框架，看看它是怎么解决这个难题的。
产业观察：哈工大机器人公司2025.4.22
sinat_34897952的博客
04-22 611
作为一家在机器人领域颇具影响力的企业，哈工大机器人公司在发展过程中面临着一系列严峻的问题，这些问题不仅制约了公司的发展速度，也影响了其在市场中的竞争力。值得注意的是，公司的营收结构正在发生变化。此外，公司还在医疗服务机器人领域取得重要进展，开发出能够精准定位人体穴位并提供保健按摩的智能设备，同时通过传感器将使用者的身体状况实时传递给家人，展现了其在服务机器人领域的技术实力。哈工大机器人公司在机器人技术领域展现出显著的技术优势，这些优势不仅体现在核心技术的突破上，还体现在其独特的技术应用成果和创新能力上。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值