【强化学习】python实现Q-learning迷宫

感谢hhh5460，本文的主要代码参考了他的博客，地址：https://www.cnblogs.com/hhh5460/p/10143579.html

 1.问题设置

一个8x8的迷宫，相比于原贴6x6做了简单的改进。

左上角入口，右下角出口（黄色方块），红色方块为玩家，黑色方块为障碍物。

 

 

 2.思路分析

强化学习的本质是描述和解决智能体在与环境交互过程中学习策略以最大化回报或实现特定目标的问题。智能体和环境的交互遵从马尔可夫决策。

智能体强化学习的框架为：

 

因此我们需要提出三个集合的定义：

状态集（S）：表示智能体的状态的集合，本文中智能体的状态就是智能体所在的位置。具体为：[0,1,...,63]，共64个状态（位置）。

动作集（A）：表示智能体动作的集合。本文中智能体的动作只包括上下左右。具体为：['u','d','l','r'],共四种动作。

奖励集（R）：每个位置有一个奖励值。智能体需要根据到达终点的奖励值总和来计算最优路径。其中空白格子奖励值为0，障碍物奖励为-10，终点奖励10.具体为：[0,-10,0,0,...,10],共64个。

3.完整代码

import pandas as pd
import random
import time
import pickle
import pathlib
import os
import tkinter as tk

'''
 8*8 的迷宫：
---------------------------------------------------------
| 入口 | 陷阱 |      |      |      |      |      | 陷阱 |
---------------------------------------------------------
|      | 陷阱 |      |      | 陷阱 |      |      | 陷阱 |
---------------------------------------------------------
|      | 陷阱 |      | 陷阱 |      |      |      |      |
---------------------------------------------------------
|      | 陷阱 |      | 陷阱 |      |      |      |      |
---------------------------------------------------------
|      | 陷阱 |      | 陷阱 |      |      | 陷阱 |      |
---------------------------------------------------------
|      |      |      |      |      |      | 陷阱 |      |
---------------------------------------------------------
|      |      |      |      |      | 陷阱 | 陷阱 |      |
---------------------------------------------------------
|      | 陷阱 |      |      |      | 陷阱 | 陷阱 | 出口 |
---------------------------------------------------------

'''


class Maze(tk.Tk):
    '''环境类（GUI）'''
    UNIT = 40  # pixels
    MAZE_H = 8  # grid height
    MAZE_W = 8  # grid width

    def __init__(self):
        '