强化学习（一）基础概念入门

---

1. 什么是强化学习？

强化学习（Reinforcement learning，RL）讨论的问题是一个智能体(agent) 怎么在一个复杂不确定的 环境(environment) 里面去极大化它能获得的奖励。通过感知所处环境的 状态(state) 对 动作(action) 的 反应(reward)， 来指导更好的动作，从而获得最大的 收益(return)，这被称为在交互中学习，这样的学习方法就被称作强化学习。

在强化学习过程中，智能体跟环境一直在交互。智能体在环境里面获取到状态 $S_t$，智能体根据这个状态，结合自己的策略输出一个动作 $A_t$。然后这个决策会放到环境之中去，环境会根据智能体采取的决策，根据状态模型输出下一个状态 $S_{t+1}$ 以及返回给智能体做当前的这个动作所得到的奖励值 $R_{t+1}$，然后智能体可以继续选择下一个合适的动作，循环反复这个过程。最终的目的是为了尽可能多地从环境中获取奖励。

例如，我们走路摔倒了，大脑后面就会给一个负面的反馈，说明走势姿势不好，接着我们从摔倒状态爬起来并正常走路，那么大脑会给一个正面的反馈，此时我们就会知道并倾向于保持这个好的走路姿势。

强化学习是和监督学习、非监督学习并列的第三种基本的机器学习方法。

• 监督学习 是从外部监督者提供的带标注训练集中进行学习。 (任务驱动型)
• 非监督学习 是一个典型的寻找未标注数据中隐含结构的过程。 (数据驱动型)
• 强化学习 没有监督学习已经准备好的训练数据输出值，它只有奖励值，且这个奖励值不是事先给出的，而是延后给出的，而非监督学习既没有输出值也没有奖励值，只有数据特征。强化学习更偏重于智能体与环境的交互，它的每一步决策与时间顺序的前后关系紧密， 这带来了一个独有的挑战 ——“试错（exploration）”与“开发（exploitation）”之间的折中权衡，智能体必须开发已有的经验来获取收益，同时也要进行试探，使得未来可以获得更好的动作选择空间。 (从错误中学习)

强化学习主要有以下几个特点：

• 试错学习：强化学习一般没有直接的指导信息，Agent 要以不断与 Environment 进行交互，通过试错的方式来获得最佳策略(Policy)；
• 延迟回报：强化学习的指导信息很少，而且往往是在事后（最后一个状态(State)）才给出的。比如 围棋中只有到了最后才能知道胜负。

强化学习常见的应用场景有：

2. 强化学习的基本元素

• 环境(Environment) 是一个外部系统，智能体处于这个系统中，能够感知到这个系统并且能够基于感知到的状态做出一定的行动。
• 智能体(Agent) 是一个嵌入到环境中的系统，能够通过采取行动来改变环境状态的对象，一般地说，在一个应用中谁采取动作谁就是 agent。
• 状态(State)/观察值(Observation)：状态是对世界的完整描述，不会隐藏世界的信息。观测是对状态的部分描述，可能会遗漏一些信息。
• 动作(Action)：不同的环境允许不同种类的动作，在给定的环境中，有效动作的集合经常被称为动作空间(action space)，包括离散动作空间(discrete action spaces)和连续动作空间(continuous action spaces)，例如，走迷宫机器人如果只有东南西北这 4 种移动方式，则其为离散动作空间；如果机器人向 360° 中的任意角度都可以移动，则为连续动作空间。
• 奖励(Reward)：是由环境给的一个标量的反馈信号(scalar feedback signal)，这个信号显示了智能体在某一步采 取了某个策略的表现如何。

强化学习的基本元素	对应上图中的内容
agent	鸟
environment	鸟周围的环境，水管、天空（包括小鸟本身）
state	拍个照（目前的像素）
action	鸟向上向下动作
reward	距离（越远奖励越高）

3. 相关衍生元素

3.1 策略(Policy)

策略是智能体用于决定下一步执行什么行动的规则。可以是确定性的关系，根据一个状态即可决定采取的下一步动作，用符号 $\mu$ 表示，关系如下：

$$a_t=\mu (s_t)$$

智能体采取动作的策略也可以是随机的，即在一个状态下，下一步采取的动作满足一个随机的概率分布，此时概率大的动作被智能体选择的概率较高，用符号 $\pi$ 表示：

$$a_t\sim \pi \left(\cdot \mid {\mathrm{s}}_{\mathrm{t}}\right)$$

一般来说，如果策略过于确定，则容易被针对，即在与别人博弈的过程中难以取胜，因此在很多应用里面的策略函数是一个概率密度函数，让别人不一定能预测到下一步的动作。

3.2 状态转移(State Transition)

状态转移即智能体在采取某一个动作之后，环境的状态发生改变的过程。状态转移过程可以理解为一个概率模型，将状态 $s$ 在智能体采取动作 $a$ 后转到下一个状态 $s^{\prime }$ 的概率设为 $P_{s{s}^{\prime }}^a$，状态转移过程可以是确定的也可以是随机的，一般认为是随机的，它的这种随机性来源于环境。可以用状态密度函数来表示：

$$p(s^{\prime }|s,a)=\mathbb{P}(S^{\prime }=s^{\prime }|S=s,A=a)$$

当前的环境状态 $s$ 在智能体的行动 $a$ 下，可能转变为不同的 $s^{\prime }$，不同的转移后状态用概率函数进行表示，在环境中，这种变化通常是未知的，因此需要在不断的训练当中去探索。

策略动作的随机性，以及环境状态转移的随机性，是强化学习中的两种基本的随机因素。

3.3 回报(Return)

回报又称 cumulated future reward，一般表示为 $U$，定义为：

$$U_t=R_t+R_{t+1}+R_{t+2}+R_{t+3}+...$$

其中 $R_t$ 表示第 $t$ 时刻的奖励 $Reword$，agent 的目标就是让 $Return$ 最大化。这里，我们不仅看当前做出动作后的奖励 $R_t$，还需要看后续的各个时刻的奖励，例如下棋，我们不止看当前步是否能得利，还得看当前步对后续棋盘格局是否有影响，以使得后续也有持续高的回报。

未来的奖励不如现在等值的奖励那么好（比如一年后给 100 块不如现在就给），所以 $R_{t+1}$ 的权重应该小于 $R_t$。因此，强化学习通常用 discounted return（折扣回报，又称 cumulative discounted future reward，累计贴现未来奖励），取 $\gamma$ 为 discount rate（折扣率，有时也叫做奖励衰减因子），$\gamma \in (0,1]$，如果 $\gamma =1$，则说明后续的回报与当前的回报一视同仁，具体公式如下：

$$U_t=R_t+\gamma R_{t+1}+{\gamma }^2{R}_{t+2}+{\gamma }^3{R}_{t+3}+...$$

3.4 价值函数(Value Function)

举例来说，在象棋游戏中，定义赢得游戏得1分，其他动作得0分，状态是棋盘上棋子的位置。仅从1分和0分这两个数值并不能知道智能体在游戏过程中到底下得怎么样，而通过价值函数则可以获得更多洞察。

价值函数使用对未来的收益期望进行预测，一方面不必等待未来的收益实际发生就可以获知当前状态的好坏，另一方面通过期望汇总了未来各种可能的收益情况。使用价值函数可以很方便地评价不同策略的好坏。

• $v_{\pi }$ 状态价值函数（State-value Function）：用来度量给定策略 $\pi$ 的情况下，当前状态 $s_t$ 的好坏程度：

$$v_{\pi }(s)={\mathbb{E}}_{\pi }[G_t|S_t=s]$$

当智能体从状态 $s$ 开始，基于策略 $\pi$ （随机）选择后续动作所产生的期望回报，代表了该状态 $s$ 的价值，即告知当前的局势的好坏程度。

• $q_{\pi }$ 动作价值函数（Action-value Function）：用来度量给定状态 $s_t$ 和策略 $\pi$ 的情况下，采用动作 $a_t$ 的好坏程度：

$$q_{\pi }(s,a)={\mathbb{E}}_{\pi }[G_t|S_t=s,A_t=a]$$

当已知智能体的策略函数 $\pi$，则在状态 $s$ 下，对当前状态下可以采取的所有动作进行打分，就可以知道采取哪个动作好，哪个动作不好。当然，在不同的动作策略下，对动作的价值判断就不同，而好的动作策略是让博弈的赢面更大，因此最大化 $q_{\pi }$ 的 $\pi$ 即是最优策略，相应的动作价值函数称为 $q^{\ast }$ 最优动作价值函数。

4. 算法分类

4.1 按环境是否已知划分

按照环境是否已知划分为：免模型学习（Model-Free） 和 有模型学习（Model-Based）。

• Model-free 就是不去学习和理解环境，环境给出什么信息就是什么信息，常见的方法有policy optimization和Q-learning。
• Model-Based 是去学习和理解环境，学会用一个模型来模拟环境，通过模拟的环境来得到反馈。Model-Based 相当于比Model-Free 多了模拟环境这个环节，通过模拟环境预判接下来会发生的所有情况，然后选择最佳的情况。

一般情况下，环境都是不可知的，即无法套用 Model-Based 算法。

4.2 按学习方式划分

按照学习方式划分为：在线策略（On-Policy） 和 离线策略（Off-Policy）。

• On-Policy 是指 agent 必须本人在场， 并且一定是本人边玩边学习。典型的算法为 Sarsa。
• Off-Policy 是指 agent 可以选择自己玩， 也可以选择看着别人玩， 通过看别人玩来学习别人的行为准则， 离线学习同样是从过往的经验中学习， 但是这些过往的经历没必要是自己的经历， 任何人的经历都能被学习，也没有必要是边玩边学习，玩和学习的时间可以不同步。典型的方法是 Q-learning，以及 Deep-Q-Network。

4.3 按学习目标划分

按照学习目标划分：基于价值（Value-Based）和基于策略（Policy-Based） 。

• 基于价值 Value-Based 的方法通过训练得到 Q 表或者是近似一个价值函数，并以此判断动作价值，制定相应的策略。该方法适用于非连续的动作。
  1. 这类方法具有较高的稳定性和更容易解释的理论；
  2. 不适用于高维（连续）问题等的复杂问题，当问题复杂时容易受到噪声干扰，收敛性较差，且对参数即为敏感；
  3. 常见的方法有 Q-learning、DQN和Sarsa。
• 基于策略 Policy-Based 的方法通过直接学习最优策略来指导决策，在处理连续动作空间，和高维状态空间时具有较强的适应性。
  1. 这类方法具有较高的适应性，且能够处理随机策略；
  2. 由于是直接优化策略，最终的策略方法可能具有较高方差，且一些策略方法需要大量的采样来准确估计，可能会导致训练时间较长；
  3. 常见的方法有 Policy gradients、REINFORCE。
• 更为厉害的方法是二者的结合：Actor-Critic，Actor根据概率做出动作，Critic 根据动作给出价值，以期每次都选取最优动作，从而加速学习过程，常见的有 A2C，A3C，DDPG等。

参考资料

1. 张浩在路上：强化学习入门
2. 强化学习介绍 / OpenAI Spinning Up
3. Reinforcement Learning: An Introduction - Chapter 13: Policy Gradient Method
4. Sutton R S. Policy Gradient Methods for Reinforcement Learning with Function Approximation[J]. Submitted to Advances in Neural Information Processing Systems, 1999, 12:1057-1063.
5. 强化学习——策略梯度与Actor-Critic算法