深度强化学习研究笔记（1）——入门（马尔科夫决策过程，贝尔曼方程，价值迭代和策略迭代）

1. 强化学习（Reinforcement learning）概述

强化学习（Reinforcement learning）的基本内涵是将问题用代理（Agent，有的地方也将其翻译为智能体）和环境进行建模。其中代理能够对环境执行一些特定的动作$a\in A$，从而到达某个状态$s\in S$，然后我们就可以根据该状态为代理赋予特定的奖励$r$。强化学习的基本思想如下图所示：

代理的目标是最大化未来的奖励总和，它通过将未来可获得的最大奖励添加到当前的奖励来实现这一点（类似于贪心算法），从而通过潜在的奖励影响当前行动（e.g., 假设知晓未来好好读书就能考上好大学从而使个人将来发展更加顺利，那么从高一开始就会好好学习）。这个潜在奖励（Value）是从当前状态开始的所有未来动作的奖励期望值的加权和。

通常人们用马尔科夫决策过程（Markov decision process，MDP） 来描述强化学习问题，一个基本的MDP问题可以用一个五元组$\left(S,A,P,R,\gamma \right)$来表示，各个符号的含义如下所示：

• $S$表示有限状态集。
• $A$表示有限动作集。
• $P$表示状态转移概率矩阵（e.g., 高三努力学习，从年级前100名到年级前20名的概率）。
  $P_a\left(s,s^{\prime }\right)=P\left(s_{t+1}=s^{\prime }|s_t=s,a_t=a\right)$表示在状态$s$下执行动作$a$后，从状态$s$转移到$s^{\prime }$的概率。
• $R$表示奖励（Reward）函数。$R_a\left(s,s^{\prime }\right)$表示在状态$s$下执行动作$a$后，从状态$s$转移到$s^{\prime }$，所得到的奖励。
• $\gamma$表示折扣因子，该因子主要用于平衡当前的奖励与未来的奖励，可以理解为权重。一般会把未来奖励的权重调低一点。

这样，MDP的目标就是找到一种策略$\pi (s)$，使得代理在状态$s$下能够做出对应的动作$a$，使得回报（Return）$G_t$能够达到最大：

$$\begin{array}{rl}{G}_t& =R_{t+1}+{\gamma }^1{R}_{t+1}+{\gamma }^2{R}_{t+2}+\dots \\ & =\sum _{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}\end{array}\text{\hspace{1em}(1)}$$

其中，$G_t$表示回报（Return），$R$表示奖励（Reward），$\gamma$表示折扣因子。

现在，我们再定义一个价值函数（Value function），其定义为回报的期望，用于表示当前状态的未来潜在价值（e.g., 小明当前的状态是考上了一所好大学，那么他未来的潜在价值应该比较高）：

$$V\left(s\right)=\mathbb{E}\left[G_t|S_t=s\right]\text{\hspace{1em}(2)}$$

这里需要注意区分三个概念：Reward（奖励），Return（回报）和Value（价值）：

• Reward（奖励）特指代理采取某一个动作之后的奖励，可以理解为短期的、即时的奖励。
• Return（回报）是各个短期奖励加权之和，可以视为长远的奖励。
• Value（价值）是上述长远奖励的期望。

当前，强化学习的有两种思路：基于策略（Policy）函数的强化学习和基于价值（Value）函数的强化学习。

• 基于价值（Value）函数的强化学习，它需要首先对价值进行估计，然后间接地去求解如何选择动作。
• 基于策略（Policy）梯度的强化学习，其基本原理是通过反馈调整策略，具体来说就是在得到正向奖励时，增加相应的动作的概率；得到负向的奖励时，降低相应动作的概率。

---

2. 贝尔曼（Bellman）方程

前面的公式(2)提及了价值（Value）是回报（Return）的期望，现在，我们对公式(2)进行展开，得：

(3) V ( s ) = E [ G t ∣ S t = s ] = E [ R t + 1 + γ R t + 2 + γ 2 R t + 3 + γ 3 R t + 4 + … ∣ S t = s ] = E [ R t + 1 + γ ( R t + 2 + γ R t + 3 + … ) ∣ S t = s ] = E [