第十六章 强化学习

1.分析强化学习与监督学习的联系与差别。

机器要做的是通过在环境中不断地尝试而学得一个"策略" (policy) $\pi$，根据这个策略，在状态$x$下就能得知要执行的动作$\alpha =\pi (x)$， 例如看到瓜苗状态是缺水时，能返回动作"浇水". 策略有两种表示方法:一种是将策略表示为函数$\pi :X\mapsto A$， 确定性策略常用这种表示;另一种是概率表示$\pi :X\times A\mapsto \mathbb{R}$
随机性策略常用这种表示,$\pi (x,a)$ 为状态$x$ 选择动作$a$ 的概率, 这里必须有${\sum }_a^{}\pi (x,a)=1$.

若将这里的"状态"对应为监督学习中的"示例"、“动作"对应为"标记"则可看出，强化学习中的"策略"实际上就相当于监督学习中的"分类器” (当动作是离散的)或"回归器" (当动作是连续的，模型的形式并无差别. 但不同的是，在强化学习中并没有监督学习中的有标记样本(即"示例-标记"对) ，换言之，没有人直接告诉机器在什么状态下应该做什么动作，只有等到最终结果揭晓，才能通过"反思"之前的动作是否正确来进行学习. 因此，强化学习在某种意义上可看作具有"延迟标记信息"的监督学习问题.

2. $ϵ$-贪心法如何实现探索与利用的平衡。

$ϵ$-贪心法基于一个概率来对探索和利用进行折中：每次尝试时，以$ϵ$的概率进行探索，即以均匀概率随机选取一个摇臂；以 $1-ϵ$ 的概率进行利用，即选择当前平均奖赏最高的摇臂。

若摇臂奖赏的不确定性较大，例如概率分布较宽时，则需更多的探索，此时需要较大的$ϵ$值;若摇臂的不确定性较小，例如概率分布较集中时，则少量的尝试就能很好地近似真实奖赏，此时需要的$ϵ$ 较小. 通常令$ϵ$ 取一个较小的常数，如0.1 或0.01. 然而，若尝试次数非常大，那么在一段时间后，摇臂的奖赏都能很好地近似出来，不再需要探索，这种情形下可让$ϵ$ 随着尝试次数的增加而逐渐减小，例如令$ϵ=1/\sqrt{t}$.

3.如何用赌博机算法实现强化学习任务。

与一般监督学习不同，强化学习任务的最终奖赏是在多步动作之后才能观察到。强化学习与监督学习有显著不同，因为机器通过尝试来发现各个动作产生的结果，而没有训练数据告诉机器应当做哪个动作。

考虑比较简单的情形：最大化单步奖赏，即考虑一步操作。实际上，单步强化学习任务对应了一个理论模型，即“K-摇臂赌博机”。如下图所示，K-摇臂赌博机有K个摇臂，赌徒在投入一个硬币后可选择按下其中一个摇臂，每个摇臂以一定的概率吐出硬币，但这个概率赌徒并不知道。赌徒的目标是通过一定的策略最大化自己的奖赏，即获得最多的硬币。
若仅为获知每个摇臂的期望奖赏，则可采用“仅探索”法：将所有的尝试机会平均分配给每个摇臂，最后以每个摇臂各自的平均吐币概率作为其奖赏期望的近似估计。若仅为执行奖赏最大的动作，则可采用“仅利用”法：按下目前最优的摇臂，若有多个摇臂同为最优，则从中随机选择一个。显然，“仅探索”法能很好地估计每个摇臂的奖赏，却会失去很多选择最优摇臂的机会；“仅利用”法则相反，它没有很好地估计摇臂期望奖赏，很可能经常达不到最优摇臂。因此，这两种方法都难以使最终的累积奖赏最大化。显然，欲累积奖赏最大，则必须在探索与利用之间达成较好的折中。

4.试推导 折扣累积奖赏的全概率展开式(16.8)。

在模型已知时，对任意策略 $\pi$ 能估计出该策略带来的期望累积奖赏。令函数 $V^{\pi }(x)$ 表示从状态 $x$ 出发，执行动作 $a$ 后再使用策略 $\pi$ 带来的累积奖赏；函数$Q^{\pi }(x，a)$表示从状态$x$出发，执行动作$a$后再使用策略$\pi$带来的累积奖赏。这里的 $V(\cdot )$ 称为“状态值函数”，$Q(\cdot )$称为“状态-动作值函数”，分别表示指定“状态”上以及指定“状态-动作”上的累积奖赏。

由累积奖赏的定义，有状态值函数

令$x_0$表示起始状态，$a_0$表示起始状态上采取的第一个动作；对于$T$步累积奖赏，用下标 $t$ 表示后续执行的步数。我们有状态-动作值函数

由于MDP具有马尔科夫性质，即系统下一时刻的状态仅由当前时刻的状态决定，不依赖于以往任何状态，于是值函数有很简单的递归形式。对于$T$步累积奖赏有

类似的，对于 $\gamma$ 折扣累积奖赏有

需注意的是，正式由于 $P$ 和 $R$ 已知，才可以进行全概率展开。

5.什么是动态规划中的最优性原理，与强化学习中的策略更新有什么关系

动态方法的关键在于正确的归纳出基本的递推关系式和恰当的边界条件。要做到这一点，必须先将问题的过程分成几个相互联系的阶段，恰当的选取状态变量和决策变量及定义最优值函数，从而吧一个大问题化成一组同类型的子问题，然后逐个求解。即从边界条件开始，逐段递推寻优，在每个子问题的求解中，均利用了它前面子问题的最优化结果，依次进行，最后一个子问题所得到的最优解，就是整个问题的最优解。

强化学习可以参照动态规划中的思想，只需将每一步的奖赏最大化，则能完成累积奖赏最大化的目标。

6.完成时序差分学习中式(16.31)的推导。

蒙特卡罗强化学习的本质，是通过多次尝试后求平均来作为期望累积奖赏的近似，但它在求平均时是“批处理式”进行的，即在一个完整的采样轨迹完成后再对所有状态-动作进行更新。实际上这个更新过程能增量式进行。对于状态-动作对$(x,a)$,不妨假定基于$t$个采样已估计出值函数$Q_t^{\pi }(x,a)=\frac{1}{t}{\sum }_{i=1}^t{r}_i$,则在得到第$t+1$个采样$r_{t+1}$时，有：

显然，只需给$Q_t^{\pi }(x,a)$加上增量$\frac{1}{t+1}(r_{(}t+1)-Q_t^{\pi }(x,a))$.
更一般的，将$\frac{1}{t+1}$替换为系数${\alpha }_{t+1}$,则可将增量项写作$\alpha (r_{t+1}-Q_t^{\pi }(x,a))$.

以$\gamma$折扣累积奖赏为例，利用动态规划方法且考虑到模型未知时使用状态-动作值函数更方便，可得：

通过增量求和可得：

其中$x^{{}^{\prime }}$是前一次在状态$x$执行动作$a$后转移到的状态，$a^{{}^{\prime }}$是策略$\pi$在$x^{{}^{\prime }}$上选择的动作。

7.对于目标驱动的强化学习任务，目标是到达某一状态，例如机器人走到预定的位置，假设机器人只能在一维空间运动，即只能向左或者向右运动，机器人起始位置在最左侧，预定的位置在最右侧，试为这样的任务设置奖赏规则，并编程实现。

(程序参考：https://github.com/MorvanZhou/Reinforcement-learning-with-tensorflow/blob/master/contents/1_command_line_reinforcement_learning/treasure_on_right.py)