强化学习 Q-learning算法

原文链接：https://www.jianshu.com/p/dc79f9e43a1d

我们以一个迷宫寻宝的游戏为例来看什么是 Q-learning。

在这个游戏中，agent 从一个给定的位置开始，即起始状态。
在不穿越迷宫墙壁的前提下，在每个状态时，都可以选择上下左右四个方向走一步，或者原地不动，
上下左右这四个动作的每一个都会将 agent 带到网格的一个新的单元格，即新的状态，
在迷宫中有一个网格处有宝箱，这个网格就是目标状态，
此外，在某些网格处还有一些炸弹，
我们的目标是找到一条没有炸弹的路径，以最快的速度从起始状态到达目标状态。

这个迷宫就是 environment，
将 agent 放在里面时，它首先需要探索，因为它不知道炸弹是什么在哪里，也不知道宝藏是什么在哪里，
我们通过给它 rewards 来告诉它炸弹和宝藏的概念，
遇到炸弹就 -10，
遇到宝藏就 +10，
为了让 agent 找到最短路径，我们可以给其他状态的奖励为 -1，
告诉 agent 它的目标是使奖励最大化，
然后 agent 就可以开始探索了，过程中它会学习到炸弹是有害的，宝藏是好的，还能找到最短路径。

---

Q-Learning 就是要学习在一个给定的 state 时，采取了一个特定的行动后，能得到的奖励是什么。

这时可以用一个表格来记录每组 state 和 action 时的值，

这个表，首先被初始化为 0，
然后每走一步，都相应地更新表格，

其中更新的方法是用 Bellman Equation：

其中，
S 代表当前的状态，a 代表当前状态所采取的行动，
S’ 代表这个行动所引起的下一个状态，a’ 是这个新状态时采取的行动，
r 代表采取这个行动所得到的奖励 reward，γ 是 discount 因子，

由公式可以看出 s，a 对的 Q 值等于 即时奖励 + 未来奖励的 discount。
γ 决定了未来奖励的重要性有多大，
比如说，我们到了一个状态，它虽然离目标状态远了一些，但是却离炸弹远了一些，那这个状态的即时奖励就很小，但是未来奖励就很多。

算法是：

1. 初始化 Q table 为 0
2. 每一次遍历，随机选择一个状态作为起点
3. 在当前状态 (S) 的所有可选的行动中选择一个 (a)
4. 移动到下一个状态 (S’)
5. 在新状态上选择 Q 值最大的那个行动 (a’)
6. 用 Bellman Equation 更新 Q-table
7. 将新状态设置为当前状态重复第 2～6 步
8. 如果已经到了目标状态就结束

---

下面来将上面的算法实际计算一下：

用一个最简单的例子，两行两列，每个格子代表一个状态，有一个炸弹和宝藏，并设置 alpha = 1：

reward 表如下：

1. 初始的 Q-table 的值全是 0
每一行代表一个状态，每一列代表每个状态时可以有 5 种行动，上下左右和原地不动：

首先将 γ 设置为 0.8，
2. 例如我们从状态 1 开始走，可以向下或者向右
3. 我们先选择向下
4. 这时到达了状态 3
5. 在状态 3 可以向上, 或者向右
6. 用 Bellman Equation 更新 Q-table:

Q(1,D) = R(1,D) + γ * [ max( Q(3,U) & Q(3,R) ) ] = -10 + 0.8 * 0 = -10

R(1,D) = -10 是从状态 1 向下走到了炸弹处，
Q(3,U) 和 Q(3,R) 都是 0，因为初始表格都还是 0，

于是更新后的表格变成了这样：

7. 然后将状态 3 变成当前状态，
这时假设我们选择向右，就走到了 4，
在 4 处可以选择向上或者向左，
于是再根据公式计算 Q 值：

Q(3,R) = R(3,R) + 0.8 * [ max( Q(4,U) & Q(4,L) ) ] = 10 + 0.8 * 0 = 10

更新后的表格为：

这时我们走到了 4 也就是目标状态了，就可以结束这条路径了。

接下来可以重复上面的过程，走更多次，让 agent 尝试完所有可能的 state-action 组合，直到表格的值保持不变了，它也就学会了所有状态和行为的 Q 值：

---