【源码+文档】机器人自动走迷宫

三 算法介绍

3.1 深度优先算法

算法具体步骤：

• 选取图中某一顶点$V_i$为出发点，访问并标记该顶点；

• 以Vi为当前顶点，依次搜索$V_i$的每个邻接点$V_j$，若$V_j$未被访问过，则访问和标记邻接点$V_j$，若$V_j$已被访问过，则搜索$V_i$的下一个邻接点；

• 以$V_j$为当前顶点，重复上一步骤），直到图中和$V_i$有路径相通的顶点都被访问为止；

• 若图中尚有顶点未被访问过（非连通的情况下），则可任取图中的一个未被访问的顶点作为出发点，重复上述过程，直至图中所有顶点都被访问。

时间复杂度：

查找每个顶点的邻接点所需时间为$O(n^2)$，n为顶点数，算法的时间复杂度为$O(n^2)$

3.2 强化学习QLearning算法

Q-Learning 是一个值迭代（Value Iteration）算法。与策略迭代（Policy Iteration）算法不同，值迭代算法会计算每个”状态“或是”状态-动作“的值（Value）或是效用（Utility），然后在执行动作的时候，会设法最大化这个值。 因此，对每个状态值的准确估计，是值迭代算法的核心。通常会考虑最大化动作的长期奖励，即不仅考虑当前动作带来的奖励，还会考虑动作长远的奖励。

3.2.1 Q值计算与迭代

Q-learning 算法将状态（state）和动作（action）构建成一张 Q_table 表来存储 Q 值，Q 表的行代表状态（state），列代表动作（action）：

 源码和文档都托管在了【WRITE-BUG数字空间】上面了，有需要的可自取~