Reinforcement learning：an introduction 课后习题

section 2

2.1

设 两个行动分别为$a_1,a_2$,$Q_t(a_1)>Q_t(a_2)$,即行动$a_1$为greedy action
$P(A_t=a_1)$ = $1\cdot (1-\epsilon )$+$1\cdot \epsilon \cdot 0.5$=0.75

2.2

$A_5$ 必定是 $\epsilon$ 发生的time step 剩余的都是可能发生的time step

2.3

定量来看的的话累计奖励就是平均奖励的积分，1000steps来看的明显是 $\epsilon =0.1$的时候大，当时间趋于无穷时$\epsilon =0.01$更大，因为在找到最优行动后无效探索次数要比$\epsilon =0.1$时小小十倍。

2.4

$$\begin{array}{rl}{Q}_{n+1}& =Q_n+{\alpha }_n(R_n-Q_n)=(1-{\alpha }_n)Q_n+\alpha R_n\\ & =(1-{\alpha }_n)(1-{\alpha }_{n-1})Q_{n-1}+{\alpha }_{n-1}(1-{\alpha }_n)(1-{\alpha }_{n-1})R_{n-1}+{\alpha }_n{R}_n\\ & =(1-{\alpha }_n)...(1-{\alpha }_1)Q_1+{\alpha }_1(1-{\alpha }_n)...(1-{\alpha }_1)R_1+...+{\alpha }_n{R}_n\\ & =\prod _{i=1}^n(1-{\alpha }_i)Q_1+\sum _{k=1}^n{\alpha }_k{R}_k\prod _{i=k}^n(1-{\alpha }_i)\end{array}$$

2.5

https://github.com/JTBBB-J/rl_learn.git

2.6

尖刺情况出现在早期，应该就是在全部行动都采取过一次后bestaction的estimated value最大然后执行greedy action（由于初期所以estimated value受到的影响大），这一次执行后又导致estimated value 降低执行其他行动。

2.7

不会

2.8

前十次会把所有行动再试一次，然后第十一次由于N都为1所以必定执行greedy action，之后由于c比较大则会平凡选择那些选择次数少的行动，也就是会倾向于探索所以会导致value猛然下降。

2.9

一除分子就行

3.6

$$G_t=\{\begin{array}{ll}0& \\ -{\delta }_{T-1}& \end{array}$$

3.7

机器人不知道跑出迷宫会有奖励，且呆在迷宫中没有负的奖励，所以会导致机器人一直呆在迷宫中不会去找出口

3.8

带入公式就行

3.9

$$G_0=2+7\delta +7{\delta }^2+....=2+7(\frac{1}{1-\delta }-1)=65$$
$G_1$就是少了第一项所以就是63

3.10

就是级数算法

3.11

$$E[R_{t+1}]=\sum _a\pi (a|s)\sum _{r\in R}{r}_{t+1}\sum _{s\in s^{\prime }}P(r_{t+1},s_{t+1}|s_t,a_t)$$

3.12

$$\begin{array}{rl}{V}_{\pi }(s)& =E[G_t|S_t=s]=\sum G_{t}P(G_t|S_t)\\ & =\sum _s{G}_t(\sum _{a}P(A_t|S_t)P(G_t|A_t,S_t))\\ & =\sum _{a}P(A_t|S_t)q_{\pi }(s,a)=\sum _a\pi (a|s)q_{\pi }(s,a)\end{array}$$

3.13

不会

3.14

$$\begin{array}{rl}\sum \pi (a|s)\sum p(s^{\prime },r|s,a)[r+\delta v_{\pi }(s^{\prime })]& =0.25(0.9\ast 0.4)+0.25(0.9\ast 2.3)+0.25(0.9\ast 0.7)+0.25(0.9\ast (-0.4))\\ & =0.675\end{array}$$
这里其实没太搞懂为什么不把从b到b’得到+5reward的概率算上，有大佬能解答一下吗

3.15

$$G_t^{\prime }=\sum {\delta }^k(R_{t+k+1}+c)=\sum {\delta }^k(R_{t+k+1})+\sum {\delta }^{k}c=\sum {\delta }^k(R_{t+k+1})+\frac{c}{1-\delta }$$
$$v_{\pi }=E[G{t}^{\prime }|S_t=s]=E[G_t|S_t=s]+\frac{c}{1-\delta }$$

3.17

和$v_{\pi }$的bellman 等式推到类似，详情见强化学习 学习记录（2）
$$q_{\pi }(s,a)=\sum _{r,s^{\prime }}p(s^{\prime },r|s,a)[r+\delta q_{\pi }(s^{\prime },a)]$$

3.18

$$v_{\pi }=E[q_{\pi }(s,a)|S_t=s,A_t=a]=\sum \pi (a|s)q_{\pi }(s,a)$$

3.19

$$q_{\pi }(s,a)=E[r+v_{\pi }(s^{\prime })|S_t=s^{\prime },A_t=a]=\sum _{s^{\prime },a}P(s^{\prime },r|a,s)(r+v_{\pi }(s^{\prime }))$$

4.1

$$q_{\pi }(11,down)=\sum _{s^{\prime }}p(s^{\prime },r|s,a)[r+\delta v_{\pi }(s^{\prime })]=1\ast (-1+0)=-1$$
$q_{\pi }(7,down)$同理，答案为-15

4.2

如果$v_{\pi }(13)$不变仍然为-20,则
$$v_{\pi }(15)=3/4(-1+v_{\pi }(15))+1/4(-1-20)$$
解出来$v_{\pi }(15)=-24$
如果$v_{\pi }(13)$改变的话，把强化学习 学习记录（3）中的代码改下就能跑出来