Chapter 3. The Reinforcement Learning Problem

---

what is the reinforcement learning problem ?
The reinforcement learning problem is meant to be a straightforward framing of the problem of learning from interaction to achieve a goal.

what is a reinforcement learning method?
Any method that is suited to solving reinforcement learning problem we consider to be a reinforcement learning method.

---

3.1 The Agent-Environment Interface

问题描述
智能体-环境的交互，建立强化学习中智能体与环境交互的框架。

“The agent-environment interaction reinforcement learning”

名词解析：
Agent: the learner and decision-maker.
Environment: the thing it interacts with, comprising everything outside the agent.

符号解释：
$S$: 环境状态的集合,the set of environment’s states,$s_t\in S$ - the environment state at time step $t$.
$A(s_t)$: 处于$s_t$状态时可以采取的动作, the set of actions available in state $s_t$, $a_t\in A(s_t)$ - an action selected at time step $t$.
$R$:reward, $r_{t+1}\in R$ - a numerical reward.(用$r_{t+1}$而不用$r_t$表示瞬时奖励的原因：下一个奖励和下一个状态是被联合决定的。we use $r_{t+1}$ instead of $r_t$ to deote the immediate reward due to the action taken at time $t$ because it emphasizes that the next reward and the next state, $s_{t+1}$, are jointly determined)
$\pi$: the agent’s policy.
${\pi }_t$: the agent implements a mapping from states to probabilities of selecting each possible action at each time step $t$.
$\pi (s,a)$: the probability that $a_t=a$ and $s_t=s$.

智能体与环境的区分(the boundary between agent and environment):
actions 是我们想要学习如何做出的任何决策。
states 是我们在做出决策的时候可能用到的有用信息。
任何不能被agent随意改变的事情被认为不属于agent部分的，而是environment一部分。但是environment 对于agent并不是黑盒的，reward 的计算不属于agent部分的。

目标导向学习的行为被约简为3个agent与environment之间的回传信号：
①一个信号用来表示智能体选择的动作 - one signal to represent the choices made by the agent(actions);
②一个信号用来表示被选择的动作的基础 - one signal to represent the basis on which the choices are made(states);
③一个信号用来定义智能体的目标 - one signal to define the agent’s goal(the rewards).

框架的评价：
上图描述的框架适用于大多数的 decision-learning 问题，但并不是所有的强化学习问题都可以用此框架来抽象出来表示。

---

3.2 Goals and Rewards

问题描述
用一系列从环境中反馈给智能体的奖励信号来表征强化学习所要实现的目标。这种形式化的表述也是强化学习中的重要的特性之一。

目标与奖励之间的关联：
用奖励来形式化目标。
不是最大化瞬时奖励，而是最大化累计奖励。
奖励信号是想告诉agent想要实现的目标，而不是实现此目标所采取的方式。
把关于奖励设置的信息归于Agent之外。
奖励的设置会表征我们想要实现的目标，如何设置奖励也是至关重要的。

---

3.3 Returns

问题描述
形式化累积奖励。
统一化 episodic tasks 和 continuing tasks 的累积奖励。

两种强化学习类型
①episodic task: 智能体和环境的交互可以被自然地分割成一系列的episode。
episode:(trial) 整个交互过程可以被分为多个子部分。每一个episode都以一个特殊状态结束，这个特殊的状态称为 终止状态(terminal state)，用 $S^{+}$ 表示，非终止状态(nonterminal state)用 $S$ 表示。
②continuing task:不能够被分为多个子部分，可以无限制的一直进行下去的任务。

$R_t$ : return , defined as some specific function of the reward sequence after time step $t$.

对于 epoisodic tasks ，一个最简单的表示 $R_t$ 的式子为：
$R_t=r_{t+1}+r_{t+2}+...+r_T$,
$T$: a final time step
对于 continuing tasks ，$T=\infty$，所以不能像离散化任务那样子定义。此时引入了一个新的变量，discount rate 。
$\gamma$: discount rate, $0\le \gamma \le 1$, 对后续奖励打个折扣，这样处理的话最后的累计奖励的值不会发散。决定了后续奖励的比重， $\gamma =0$ 时，只考虑瞬时奖励，$\gamma =1$时，后续的每一个奖励都与现在的瞬时奖励等重，此时的agent 更加具有远见，但是难以计算。
此时的期望奖励表示为：
$R_t=r_{t+1}+\gamma r_{t+2}+{\gamma }^2{r}_{t+3}+...={\sum }_{k=0}^{\infty }{\gamma }^k{r}_{t+k+1}$

统一化处理：
为了更加精确地描述episodic tasks ，需要引入格外的标记符号。例如：$s_{t,i}$ - the state at ktime $t$ of episode $i$($a_{t,i}$, $r_{t,i}$, ${\pi }_{t,i}$, $T_i$, etc)，但是实际中我们不会刻意地去区分两个不同的episode，所以还是用简单的表示形式来表示， 如 $s_t$ 表示 $s_{t,i}$。
对于 episodic tasks 和 continuing tasks ，需要用统一的符号来表示，我们引入 吸收态(absoring state)来实现。

“吸收态特性”
统一形式为：
$$R_t=\sum _{k=0}^T{\gamma }^K{r}_{t+k+1}$$
$T=\infty$ 和 $\gamma =1$不能同时成立。

---

3.4 The Markov Property

问题描述
状态信号需要的信息。定义了环境的马尔科夫特性。
ouer mian concern is not with designing the state singal, but with deciding waht actions to take.

状态表示:
可以是原始信号，也可以是对原始信号加工之后的信息，也可以是序列信息等。但是智能体不能从状态表示中推断出环境的所有信息（例如，机器在玩十三点扑克游戏，它不能从状态表示中知道下一张牌是啥）。
agent can’t konw hidden state information in the environment.

Markov Porperty:
成功保留所有相关信息的状态信号定义为具有马尔科夫特性。(a state signal that succeeds in retaining all relevant information is said to be Markov, or to have Markov Property)
environment responds to the action taken at time $t$:
P r { s t + 1 = s ′ , r t + 1 = r ∣ s t , a t , r t , s t − 1 , a t − 1 , r t − 1 , . . . , r 1 , s 0 , a 0 } Pr\{s_{t+1}=s', r_{t+1}=r|s_t,a_t,r_t,s_{t-1},a_{t-1}, r_{t-1}, ... ,r_1,s_0,a_0\} Pr{st+1​=s′,rt+1​=r∣st​,at​,rt​,st−1​,at−1​,rt−1​,...,r1​,s0​,a0​}
如果状态信号具有Markov Property，那么
P r { s t + 1 = s ′ , r t + 1 = r ∣ s t , a t } Pr\{s_{t+1} = s', r_{t+1} = r| s_t,a_t\} Pr{st+1​=s′,rt+1​=r∣st​,at​}

具有Markov 特性的选择动作的最好策略 等价于 具备完整历史信息的选择动作的最好策略。当状态信号不具备Markov 特性的时候，我们也把它当成近似具备此特性。Markov 特性在强化学习中是很重要的特性，因为具有此特性之后，decisions 和 values 可以被认为是当前状态的函数。

---

3.5 Markov Decision Processes

问题描述
什么是马尔科夫决策过程？

名词解释：
MDP(Markov Decision Property): 满足马尔科夫性质的强化学习任务被认为是 马尔科夫决策过程， 如果它的状态和动作是有限的，那么就是有限的马尔科夫决策过程(finite MDP)。
转移概率(transition probabilities): 给出任意的状态 $s$ 和动作 $a$ ，下一个可能的状态 $s^{\prime }$ 的概率为
P s s ′ a = P r { s t + 1 = s ′ ∣ s t = s , a t = a } P_{ss'}^a = Pr\{ s_{t+1} = s'| s_t = s, a_t = a\} Pss′a​=Pr{st+1​=s′∣st​=s,at​=a}
同理，下一个状态的期望回报：
R s s ′ a = E { r t + 1 ∣ s t = s , a t = a , s t + 1 = s ′ } R_{ss'}^a = E\{ r_{t+1} | s_t = s, a_t = a, s_{t+1} = s'\} Rss′a​=E{rt+1​∣st​=s,at​=a,st+1​=s′}

掌握了$P_{s{s}^{\prime }}^a$ 和 $R_{s{s}^{\prime }}^a$ 之后，只有关于value期望的reward的分布信息是丢失的。

关于 垃圾回收机器MDP 的例子：
recyling robot能够做的决定有：
①actively search for a can;
②remain stationary and wait for someone to bring it a can;
③go back to home base to recharge its battery.
agent 做出相应的决定取决于电池的状态，电池的状态可以被视为是状态的空间 S = { h i g h , l o w } S = \{high, low\} S={high,low}，相应的动作的空间有 A ( h i g h ) = { s e a r c h , w a i t } A(high) = \{search, wait\} A(high)={search,wait}， A ( l o w ) = { s e a r c h , w a i t , r e c h a r g e } A(low) = \{search, wait, recharge\} A(low)={search,wait,recharge}，当电池的状态为$high$时，我们认为此时机器采取$recharge$的动作是十分愚蠢的，所以去除了这种情况。

状态转移概率矩阵
$R^{search}>R^{wait}$


状态转移概率图

---

3.6 Value Functions

问题描述
几乎所有的强化学习算法都在预测value function，预测智能体在一个给定的状态下有多好（或者说在一个给定的状态下采取某一个动作有多少），也就是在此状态下智能体能够接收到的累积奖励有多少。

value functions:
$V^{\pi }(s)$: 在策略$\pi$的指示下，从状态$s$开始的期望value。
对于MDPs，定义如下：
V π ( s ) = E π { R t ∣ S t = s } = E π { ∑ k = 0 ∞ γ k r t + k + 1 ∣ s t = s } V^{\pi}(s) = E_\pi\{ R_t|S_t=s\} = E_\pi\{\sum_{k=0}^\infty \gamma^k r_{t+k+1}|s_t=s\} Vπ(s)=Eπ​{Rt​∣St​=s}=Eπ​{∑k=0∞​γkrt+k+1​∣st​=s}
E π { } E_\pi\{\} Eπ​{}表示智能体根据策略$\pi$之后的期望value。我们规定终止状态的vlaue 是 0。我们称呼 $V^{\pi }$ 为 the state-value function for policy $\pi$。

$Q^{\pi }(s,a)$:在策略$\pi$的指示下，从状态$s$采取动作$a$之后的期望value。
对于MDPs，定义如下：
Q π ( s , a ) = E π { R t ∣ s t = s , a t = a } = E π { ∑ k = 0 ∞ γ k r t + k + 1 ∣ s t = s , a t = a } Q^\pi(s,a) = E_\pi\{R_t|s_t=s,a_t=a\} = E_\pi\{\sum_{k=0}^\infty\gamma^k r_{t+k+1}|s_t=s,a_t=a\} Qπ(s,a)=Eπ​{Rt​∣st​=s,at​=a}=Eπ​{∑k=0∞​γkrt+k+1​∣st​=s,at​=a}
我们称呼$Q^{\pi }$为 the action-value function for policy $\pi$。

Monte Carlo Methods: average over random samples of actual returns.

value functions 的一个基本特性：具有递归性质(recursive relationships)。

V π ( s ) = E π { R t ∣ s t = s } = E π { ∑ k = 0 ∞ γ k r t + k + 1 ∣ s t = s } = E π { r t + 1 + γ ∑ k = 0 ∞ γ k r t + k + 2 ∣ s t = s } = ∑ a π ( s , a ) ∑ s ′ P s s ′ a [ R s s ′ a + γ E π { ∑ k = 0 ∞ γ k r t + k + 2 ∣ s t + 1 = s ′ } ] = ∑ a π ( s , a ) ∑ s ′ P s s ′ a [ R s s ′ a + γ V π ( s ′ ) ] \begin{aligned} V^\pi(s) &= E_\pi\{R_t | s_t=s\}\\ &= E_\pi\{\sum_{k=0}^\infty \gamma^k r_{t+k+1} | s_t=s\}\\ &= E_\pi\{r_{t+1} + \gamma\sum_{k=0}^\infty\gamma^k r_{t+k+2} | s_t=s\}\\ &= \sum_a \pi(s,a) \sum_{s'}P_{ss'}^a[R_{ss'}^a + \gamma E_\pi\{\sum_{k=0}^\infty\gamma^k r_{t+k+2}| s_{t+1}=s'\}]\\ &= \sum_a \pi(s,a) \sum_{s'}P_{ss'}^a[R_{ss'}^a + \gamma V^\pi(s')] \end{aligned} Vπ(s)​=Eπ​{Rt​∣st​=s}=Eπ​{k=0∑∞​γkrt+k+1​∣st​=s}=Eπ​{rt+1​+γk=0∑∞​γkrt+k+2​∣st​=s}=a∑​π(s,a)s′∑​Pss′a​[Rss′a​+γEπ​{k=0∑∞​γkrt+k+2​∣st+1​=s′}]=a∑​π(s,a)s′∑​Pss′a​[Rss′a​+γVπ(s′)]​

这个式子称为 Bellman equations for $V^{\pi }$，它将一个状态的value与此状态的后继状态联系在了一起。可以通过下图来解释或联系记忆。

“backup diagram for $V^{\pi }$(从后往前看)”

同理，Bellman equation for $Q^{\pi }$的表示如下：
$Q^{\pi }(s,a)={\sum }_{s^{\prime }}{P}_{s{s}^{\prime }}^a[R_{s{s}^{\prime }}^a+{\sum }_{a^{\prime }}\pi (s^{\prime },a^{\prime })\gamma Q^{\pi }(s^{\prime },a^{\prime })]$



Gridworld 例子展示：
在一个5x5的格子中，每一个格子表示一个状态，在每一个格子下都有四种可以采取的动作（上、下、左、右）,每个动作被选取的概率等价。当智能体采取动作之后它的位置没有发生变化，那么我们将此时的瞬时奖励设置为-1，其余的（除了两个特殊状态）设置为0，特殊状态为$\mathbf{A}$ 和 $\mathbf{B}$，从状态$\mathbf{A}$开始，无论采取哪种动作，下个状态都会转移到${\mathbf{A}}^{\prime }$，并给予瞬时奖励+10；从状态$\mathbf{B}$开始，无论采取哪种动作，下个状态都会转移到${\mathbf{B}}^{\prime }$，并给与瞬时奖励+5。（设置discount rate $\gamma$ = 0.9）
如图所示：

“(a) exceptioal reward dynamics; (b) state-value function for the equiproable random policy.”
从图中我们可以看出：状态$\mathbf{A}$是最好的状态，同时状态$\mathbf{A}$的期望奖励（8.8）小于其对应的瞬时奖励（10），因为从状态$\mathbf{A}$下一步肯定会转移到状态${\mathbf{A}}^{\prime }$，但是在${\mathbf{A}}^{\prime }$之后智能体采取动作之后可能会跑出格子的范围。但是状态$\mathbf{B}$的期望奖励要高于其对应的瞬时奖励，From ${\mathbf{B}}^{\prime }$ the expected penalty(negative reward) for possibly running into an edge is more than compensated for by the expected gain for possibly stumbling onto $\mathbf{A}$ or $\mathbf{B}$。

---

3.7 Optimal Value Functions

问题描述
optimal policy, optimal state-value function, optimal action-value function, and how to solve the Bellman optimal equtions.

名词解释：
${\pi }^{\ast }$: optimal policies, $\pi \ge {\pi }^{\ast }$, if and only if $V^{\pi }(s)\ge V^{{\pi }^{\prime }}(s)$ for all $s\in S$.
$V^{\ast }$: optimal state-value function, $V^{\ast }(s)=ma{x}_{\pi }{V}^{\pi }(s)$ for all $s\in S$.
$Q^{\ast }$: optimal action-value function, $Q^{\ast }(s,a)=ma{x}_{\pi }{Q}^{\pi }(s,a)$, for all $s\in S$ and $a\in A(s)$.
$V^{\ast }$与$Q^{\ast }$的联系：
Q ∗ ( s , a ) = E { r t + 1 + γ V ∗ ( s t + 1 ) ∣ s t = s , a t = a } Q^*(s,a) = E\{ r_{t+1} + \gamma V^*(s_{t+1})| s_t=s, a_t=a\} Q∗(s,a)=E{rt+1​+γV∗(st+1​)∣st​=s,at​=a}


Bellman optimality equation:
it expresses the fact that the value of a state under an optimal policy must equal the expected return for the best action from that state.
V ∗ ( s ) = m a x a ∈ A ( s ) Q π ∗ ( s , a ) = m a x a E π ∗ { R t ∣ s t = s , a t = a } = m a x a E π ∗ { ∑ k = 0 ∞ γ k r t + k + 1 ∣ s t = s , a t = a } = m a x a E π ∗ { r t + 1 + γ ∑ k = 0 ∞ γ k r t + k + 2 ∣ s t = s , a t = a } = m a x a E { r t + 1 + γ V ∗ ( s ′ ) ∣ s t = s , a t = a } = m a x a ∑ s ′ P s s ′ a [ R s s ′ a + γ V ∗ ( s ′ ) ] \begin{aligned} V^*(s) &= max_{a\in A(s)} Q^{\pi*}(s,a)\\ &= max_a E_{\pi^*}\{R_t|s_t=s, a_t=a\}\\ &= max_a E_{\pi^*}\{\sum_{k=0}^\infty \gamma^k r_{t+k+1}|s_t=s, a_t=a\}\\ &= max_a E_{\pi^*} \{r_{t+1} + \gamma\sum_{k=0}^\infty \gamma^k r_{t+k+2}|s_t=s,a_t=a\}\\ &= max_a E\{r_{t+1} + \gamma V^*(s') | s_t=s, a_t=a\}\\ &= max_a \sum_{s'}P_{ss'}^a[R_{ss'}^a + \gamma V^*(s')] \end{aligned} V∗(s)​=maxa∈A(s)​Qπ∗(s,a)=maxa​Eπ∗​{Rt​∣st​=s,at​=a}=maxa​Eπ∗​{k=0∑∞​γkrt+k+1​∣st​=s,at​=a}=maxa​Eπ∗​{rt+1​+γk=0∑∞​γkrt+k+2​∣st​=s,at​=a}=maxa​E{rt+1​+γV∗(s′)∣st​=s,at​=a}=maxa​s′∑​Pss′a​[Rss′a​+γV∗(s′)]​

"backup diagram for $V^{\ast }$"
同理：
Q ∗ ( s , a ) = E { r t + 1 + γ m a x a ′ Q ∗ ( s t + 1 , a ′ ) ∣ s t = s , a t = a } = ∑ s ′ P s s ′ a [ R s s ′ a + γ m a x a ′ Q ∗ ( s ′ , a ′ ) ] \begin{aligned} Q^*(s,a) &= E\{r_{t+1} + \gamma max_{a'}Q^*(s_{t+1},a')|s_t=s, a_t=a\}\\ &= \sum_{s'}P_{ss'}^a[R_{ss'}^a + \gamma max_{a'}Q^*(s',a')] \end{aligned} Q∗(s,a)​=E{rt+1​+γmaxa′​Q∗(st+1​,a′)∣st​=s,at​=a}=s′∑​Pss′a​[Rss′a​+γmaxa′​Q∗(s′,a′)]​

"backup diagram for $Q^{\ast }$"


解Bellman optimal equation 的方式：
如果有了$V^{\ast }$的信息，那么我们只需要进行 one-step search,如果有了$Q^{\ast }$的信息，那么就可以直接对其查找。

例子：
Bellman Optimality Equations for the Recyling Robot
$$\begin{array}{rl}{V}^{\ast }(h)& =max\left\{\begin{array}{c}{P}_{hh}^s[R_{hh}^s+\gamma V^{\ast }(h)]+P_{hl}^s[R_{hl}^s+\gamma V^{\ast }(l)],\\ P_{hh}^w[R_{hh}^w+\gamma V^{\ast }(h)]+P_{hl}^w[R_{hl}^w+\gamma V^{\ast }(l)]\end{array}\right\}\\ & =max\left\{\begin{array}{c}{R}^s+\gamma [\alpha V^{\ast }(h)+(1-\alpha )V^{\ast }(l)],\\ R^w+\gamma V^{\ast }(h)\end{array}\right\}\end{array}$$

同理：$V^{\ast }(l)$的表达式也可得。

Solving the Gridworld

“$V^{\ast }$for the gridworld example”

"${\pi }^{\ast }$ for the gridworld example"

完整解决Bellman Optimal Equation 需要的条件：
① know the dynamics of the environment,
② enough computational resources to complete the computation of the solution,
③ the Markov property.

近似解：
由于实际情况中存在的计算效率和所需内存的问题，使得我们即使掌握了环境的动态性质也无法完整求解，但是我们建立的关于强化学习的框架可以使我们得以近似求解。

---

3.8 总结

强化学习是一种如何在交互式中实现一个目标的学习方法。
强化学习框架的组成元素，agent 和 environment 的边界区分。
强化学习任务的两种形式，对于episodic task 和 continuing task 的累积奖励的统一化处理（引入 discount rate 和 吸收态）。
Markov Property 的介绍，如果状态信号满足Markov Property，那么此强化学习是一个MDP(Markov Decision Process)，有限的MDP的定义。
value funtions 的表示，其Bellman optimal equations的形式，
如何解决Bellman optimal equation，需要满足的条件，我们现在大多数的做法是采取近似解的方式。

---

第一版第三章：Richard S. Sutton and Andrew G. Barto.《An Introduction to Reinforcement Learning》
现已有第二版