强化学习基础简介

我们所熟知的有监督学习是在带标签的已知训练数据上进行学习，得到一个从数据特征到标签的映射（预测模型），进而预测新的数据实例所具有的标签。

而强化学习中则出现了两个新的概念，“智能体” 和 “环境”。在强化学习中，智能体通过与环境的交互来学习策略，从而最大化自己在环境中所获得的奖励。例如，在下棋的过程中，你（智能体）可以通过与棋盘及对手（环境）进行交互来学习下棋的策略，从而最大化自己在下棋过程中获得的奖励（赢棋的次数）。

如果说有监督学习关注的是 “预测”，是与统计理论关联密切的学习类型的话，那么强化学习关注的则是 “决策”，与计算机算法（尤其是动态规划和搜索）有着深入关联。笔者认为强化学习的原理入门相较于有监督学习而言具有更高的门槛，尤其是给习惯于确定性算法的程序员突然呈现一堆抽象概念的数值迭代关系，在大多数时候只能是囫囵吞枣。于是笔者希望通过一些较为具体的算例，以尽可能朴素的表达，为具有一定算法基础的读者说明强化学习的基本思想。

从动态规划说起

动态规划的基本思想是将待求解的问题分解成若干个结构相同的子问题，并保存已解决的子问题的答案，在需要的时候直接利用 。使用动态规划求解的问题需要满足两个性质：

• 最优子结构：一个最优策略的子策略也是最优的。
• 无后效性：过去的步骤只能通过当前的状态影响未来的发展，当前状态是历史的总结。

我们回顾动态规划的经典入门题目 “数字三角形” ：

数字三角形问题

给定一个形如下图的 $N+1$ 层数字三角形及三角形每个坐标下的数字 $r(i,j)$ ，智能体在三角形的顶端，每次可以选择向下（ $\downarrow$ ）或者向右（ $\searrow$ ）到达三角形的下一层，请输出一个动作序列，使得智能体经过的路径上的数字之和最大。

数字三角形示例。此示例中最优动作序列为 “向右 - 向下”，最优路径为 “(0, 0) - (1, 1) - (2, 1)”，最大数字和为 r(0, 0) + r(1, 1) + r(2, 1) = 5 。

我们先不考虑如何寻找最优动作序列的问题，而假设我们已知智能体在每个坐标 $(i,j)$ 处会选择的动作 $\pi (i,j)$ （例如 $\pi (0,0)=\searrow$ 代表智能体在 (0, 0) 处会选择向右的动作），我们只是单纯计算智能体会经过的路径的数字之和。我们从下而上地考虑问题，设 $f(i,j)$ 为智能体在坐标 $(i,j)$ 处的 “现在及未来将会获得的数字之和”，则可以递推地写出以下等式：
$$(1)f(i,j)=\{\begin{array}{ll}f(i+1,j)+r(i,j),& \pi (i,j)=\downarrow \\ f(i+1,j+1)+r(i,j),& \pi (i,j)=\searrow \end{array}$$
上式的另一个等价写法如下：
$$(2)f(i,j)=[p_{1}f(i+1,j)+p_{2}f(i+1,j+1)]+r(i,j)$$
其中
$$(p_1,p_2)=\{\begin{array}{l}(1,0),\pi (i,j)=\downarrow \\ (0,1),\pi (i,j)=\searrow \end{array}$$

有了上面的铺垫之后，我们要解决的问题就变为了：通过调整智能体在每个坐标 $(i,j)$ 会选择的动作 $\pi (i,j)$ 的组合，使得 $f(0,0)$ 的值最大。为了解决这个问题，最粗暴的方法是遍历所有 $\pi (i,j)$ 的组合，例如在示例图中，我们需要决策 $\pi (0,0)$ 、 $\pi (1,0)$ 、 $\pi (1,1)$ 的值，一共有 $2^3=8$ 种组合，我们只需要将 8 种组合逐个代入并计算 $f(0,0)$ ，输出最大值及其对应组合即可。

不过，这样显然效率太低了。于是我们考虑直接计算 (2) 式关于所有动作 $\pi$ 组合的最大值 ${\max }_{\pi }f(i,j)$ 。在 (2) 式中， $r(i,j)$ 与任何动作 $\pi$ 都无关，所以我们只需考虑 $p_{1}f(i+1,j)+p_{2}f(i+1,j+1)$ 这个表达式的最大值。于是，我们分别计算 $\pi (i,j)=\downarrow$ 和 $\pi (i,j)=\searrow$ 时该表达式关于任何动作 $\pi$ 的最大值，并取两个最大值中的较大者，如下所示：
$$\begin{gathered} \underset{\pi }{\max }f(i,j)=\underset{\pi }{\max }[p_{1}f(i+1,j)+p_{2}f(i+1,j+1)]+r(i,j) \\ =\max [\underset{\pi (i,j)=\downarrow }{\underbrace{\underset{\pi }{\max }(1f(i+1,j)+0f(i+1,j+1))}},\underset{\pi (i,j)=\searrow }{\underbrace{\underset{\pi }{\max }(0f(i+1,j)+1f(i+1,j+1))}}]+r(i,j) \\ =\max [\underset{\pi (i,j)=\downarrow }{\underbrace{\underset{\pi }{\max }f(i+1,j)}},\underset{\pi (i,j)=\searrow }{} \end{gathered}$$