Reinforcement Learning an introduction (2)

函数逼近

目标函数

• 定义: 目标函数

$$\begin{gathered} \overline{VE}(w)=\sum _s\mu (s)[v_{\pi }(s)-\hat{v}(s,w){]}^2 \\ \mu (s)=\frac{\eta (s)}{{\sum }_{s^{\prime }}\eta (s^{\prime })} \end{gathered}$$

其中$\eta (s)$定义为状态$s$出现的概率、最小化损失函数 $w^{\ast }=argmi{n}_w\overline{VE}(w)$

• 性质:
  • 函数逼近需要可以¹适应on-line学习、²适应变化的目标函数
  • 举例: SGD可以、批量SGD不满足第一条、用直接法求解td fix点不满足第二条

SGD

• 更新公式

$$\begin{gathered} w_{t+1}=w_t+\frac{1}{2}\alpha {\nabla }_{w_t}[v_{\pi }(s)-{\hat{v}}_{\pi }(s,w_t){]}^2 \\ =w_t+\alpha [v_{\pi }(s)-{\hat{v}}_{\pi }(s,w)]{\nabla }_{w_t}{\hat{v}}_{\pi }(s,w_t) \\ \approx w_t+\alpha [U_t-{\hat{v}}_{\pi }(s,w)]{\nabla }_{w_t}{\hat{v}}_{\pi }(s,w_t) \end{gathered}$$

• 收敛性: 如果$U_t$是$v_{\pi }(s)$的无偏估计、且$\alpha$递减、且采样数据服从分布$\mu$，则根据SGD可知$w$能够收敛到$w^{\ast }$

• semi-gradient methods

  • 引入原因: 用到自举的方法都将引入偏差: 包含初始化的偏差以及函数逼近的泛化误差、因此不能用SGD
  • 修正: 不对目标函数求导，只对估计函数求导，以下给出$TD(0)$的更新公式

  $$w_{t+1}=w_t+\alpha [R+\gamma {\hat{v}}_{\pi }(s^{\prime },w)-{\hat{v}}_{\pi }(s,w)]{\nabla }_{w_t}{\hat{v}}_{\pi }(s,w_t)$$

  • episodic semi-gradient one-step Sarsa (很容易推广到n步)

  $$w_{t+1}=w_t+\alpha [R+\gamma {\hat{q}}_{\pi }(s^{\prime },a^{\prime },w_t)-{\hat{q}}_{\pi }(s,a,w_t)]{\nabla }_{w_t}{\hat{q}}_{\pi }(s,a,w_t)$$

  • 伪代码

    

线性函数

• 定义

$$\hat{v}(s,w)=w^{T}x(s),\nabla \hat{v}(s,w)=x(s)$$

​ 简单推一下
$$\begin{gathered} df=(\nabla f{)}^T(dx)=tr(\nabla fdx) \\ d(\hat{v})=d(w^{T}x)=tr(d{w}^{T}x)=tr(x^{T}dw)\Rightarrow \nabla v=x \end{gathered}$$

参考网站: https://zhuanlan.zhihu.com/p/24709748

• semi-gradient methods

  • 收敛性: 如果迭代公式如下($TD(0)$)、且$\alpha$递减、且采样数据服从分布$\mu$，则$w$能够收敛到$w_{TD}$

  • 迭代公式: $w_{t+1}=w_t+\alpha [R_{t+1}+\gamma w_t^T{x}_{t+1}-w_t^T{x}_t]x_t$

  • 以下给出证明:

    首先证明 $w_{TD}=A^{-1}b$ 是迭代方程的解

  $$\begin{gathered} w_{t+1}=w_t+\alpha [R_{t+1}+\gamma w_t^T{x}_{t+1}-w_t^T{x}_t]x_t \\ =w_t+\alpha [R_{t+1}{x}_t-x_t(x_t-\gamma x_{t+1}{)}^T{w}_t] \\ =w_t+\alpha (b-A{w}_t) \\ {w}^{\ast }=w^{\ast }+\alpha (b-A{w}^{\ast })\Rightarrow w^{\ast }=w_{TD}=A^{-1}b \end{gathered}$$

  这里的目的是把$w$移到后面去，又$w^{T}x$是常数可以随便挪顺序

  ​ 接着证明当$A$为正定矩阵时迭代公式能够收敛到$w_{TD}$
  $$\begin{gathered} w_{t+1}=(I-\alpha A)w_t+\alpha b \\ \because {\delta }_{w+1}=(I-\alpha A){\delta }_w\therefore |{\lambda }_{max}(I-\alpha A)|<1\Rightarrow \underset{t\to \infty }{\lim }{\delta }_{w_t}=0 \\ (I-\alpha A)y=\lambda y\Rightarrow y^T(I-\alpha A)y=y^{T}y-\alpha y^{T}Ay=\lambda y^{T}y \\ \Rightarrow 1-\lambda =\alpha \frac{y^{T}Ay}{y^{T}y}>0\Rightarrow \lambda <1 \end{gathered}$$

  用类似Gauss–Seidel method思想证明，但这样好像没法说明$\lambda >-1$，另外是否能找到收敛更快的迭代公式呢?

  ​ 最后证明$A$是正定矩阵

  书里写的比较详细

• 误差: 使用上述方法将能够收敛到TD fixed point ($w_{TD}$)与MC+SGD的解$w^{\ast }$不相同，且$TD$的误差较高，但TD因为目标函数的方差较小，因此收敛更快

$$\overline{VE}(w_{TD})\le \frac{1}{1-\gamma }\overline{VE(W^{\ast })}$$

• linear semi-gradient DP同样能够收敛到TD fixed point、semi-gradient Sarsa(0)有近似的结果

• 伪代码

• Least-Squares TD: 上面使用迭代法求解线性方程，也可以使用直接法求解，收敛的更快但计算量大$O(kn)\to O(n^2)$

average reward

• $r(\pi )$

  • 定义
    $$\begin{gathered} r(\pi )=\sum _s\mu (s)\sum _a\pi (a|s)\sum _{s,a}p(s^{\prime },r|s,a)r \\ \text{\hspace{1em}(3)} \end{gathered}$$

  • 推导

$$\begin{gathered} r(\pi )=\underset{h\to \infty }{\lim }\frac{1}{h}\sum _{t=1}^h{E}_{\pi }[R_t|S_{0:t-1},A_{0:t-1}] \\ =\underset{t\to \infty }{\lim }{E}_{\pi }[R_t|S_{0:t-1},A_{0:t-1}] \\ =\sum _s\mu (s)\sum _a\pi (a|s)\sum _{s,a}p(s^{\prime },r|s,a)r \end{gathered}$$

• $\mu (s)$

  • 定义

  μ ( s ) = lim ⁡ t → ∞ P r π { S t ∣ A 0 : t − 1 } \mu(s) = \lim_{t\rightarrow\infty} Pr_\pi\{S_t|A_{0:t-1}\} μ(s)=t→∞lim​Prπ​{St​∣A0:t−1​}

  • 性质
    $$\mu (s^{\prime })=\sum _s\mu (s)\sum _a\pi (a|s)p(s^{\prime },r|s,a)$$

  • 直观理解: 代表在若从状态$S_0$开始、采取策略$\pi$行动，停留在状态$s$的概率

  • Ergodicity，若MDP满足Ergodicity特性，则$\mu (s)$与$s_0$无关，只与$\pi$有关。Ergodicity$\Rightarrow$式(3)成立

• differential return

  • 定义
    $$G_t=(R_{t+1}-r(\pi ))+(R_{t+2}-r(\pi ))+...$$

  • TD_error变为
    $${\delta }_t=(R_{t+1}-\bar{R})+\hat{v}(S_{t+1},w_t)-\hat{v}(S_t,w_t)$$

• 不用折扣因子原因

$$J(\pi )=r(\pi )+\gamma J(\pi )=\frac{r(\pi )}{1-\gamma }$$

$J(\pi )$是从任意点出发的的平均收益(带折扣因子$\gamma$)、$r(\pi )$是从任意点出发的平均收益$(\gamma =1)$、第一个等号成立是因为$S_0,S_1$的对称性、第二个等号成立是因为等比数列、由此可知$J$与$r$只差了个常数倍，加不加$\gamma$一样

• 当使用函数逼近后无法满足策略更新后价值函数的单调递增性，因此前面提到的所有算法都是不能使用的(无法保证收敛)，因此提出策略梯度法

其他细节

• Memory based: 只记录一部份价值函数(不做参数近似)、没看过的状态就用相邻的近似(如:取平均)
• Kernel-based: Memory based的进化，每个没看过的状态都是所有记录状态的函数
• interest $I$、emphasis $M$ : 在$\mu$的基础上改变分布 (改变分布会不会影响收敛性?)

策略梯度

Policy Gradient Theorem

$${\nabla }_{\theta }J(\theta )=E_{\pi }[q_{\pi }(s,a)\nabla \ln {\pi }_{\theta }(a|s)]$$

• 首先证明 $\nabla V_{\pi }(s)={\sum }_a[\nabla \pi (a|s)q_{\pi }(s,a)+\pi (a|s){\sum }_{s^{\prime }}P(s^{\prime }|s,a)\nabla V_{\pi }(s^{\prime })]$

$$\begin{gathered} J(\theta )=v_{{\pi }_{\theta }}(s),\nabla J(\theta )={\nabla }_{\theta }{v}_{\pi }(s)={\nabla }_{\theta }[\sum _a\pi (a|s)q_{\pi }(s,a)] \\ =\sum _a[\nabla \pi (a|s_0)q_{\pi }(s,a)+\pi (a|s)\nabla q_{\pi }(s,a)] \\ =\sum _a[\nabla \pi (a|s_0)q_{\pi }(s,a)+\pi (a|s)\nabla \sum _{s^{\prime },r}P(s^{\prime },r|s,a)(r+V_{\pi }(s^{\prime }))] \\ =\sum _a[\nabla \pi (a|s)q_{\pi }(s,a)+\pi (a|s)\sum _{s^{\prime }}P(s^{\prime }|s,a)\nabla V_{\pi }(s^{\prime })] \end{gathered}$$

• 定义 ${\rho }_{\pi }(s\to x,k)$为从状态$s$开始采用策略$\pi$行动在$k$步后到达$x$的概率
• 接下来证明 $\nabla V_{\pi }(s)={\sum }_x{\sum }_k{\rho }_{\pi }(s\to x,k)\varphi (x)$

$$\begin{gathered} \nabla V_{\pi }(s)=\varphi (s)+\sum _a\pi (a|s)\sum _{s^{\prime }}P(s^{\prime }|s,a)\nabla V_{\pi }(s^{\prime }) \\ =\varphi (s)+\sum _{s^{\prime }}\sum _a\pi (a|s)P(s^{\prime }|s,a)\nabla V_{\pi }(s^{\prime }) \\ =\varphi (s)+\sum _{s^{\prime }}{\rho }_{\pi }(s\to s^{\prime },1)\nabla V_{\pi }(s^{\prime }) \\ =\varphi (s)+\sum _{s^{\prime }}{\rho }_{\pi }(s\to s^{\prime },1)[\varphi (s^{\prime })+\sum _{s^{\prime \prime }}{\rho }_{\pi }(s^{\prime }\to s^{\prime \prime },1)\nabla V_{\pi }(s^{\prime \prime })] \\ =\varphi (s)+\sum _{s^{\prime }}{\rho }_{\pi }(s\to s^{\prime },1)\varphi (s^{\prime })+\sum _{s^{\prime \prime }}{\rho }_{\pi }(s\to s^{\prime \prime },2)\nabla V_{\pi }(s^{\prime \prime }) \\ =\sum _x\sum _k{\rho }_{\pi }(s_0\to x,k)\varphi (x) \end{gathered}$$

• 最后证明 $\nabla V_{\pi }(s)=E_{\pi }[q_{\pi }(s,a)\ln {\pi }_{\theta }(a|s)]$

$$\begin{gathered} \nabla V_{\pi }(s)=\sum _x\sum _k{\rho }_{\pi }(s_0\to x,k)\varphi (x) \\ =\sum _x\eta (x)\varphi (x)=\sum _s\eta (s)\sum _s\frac{\eta (s)}{{\sum }_s\eta (s)}\varphi (s) \\ \propto \sum _s\frac{\eta (s)}{{\sum }_s\eta (s)}\varphi (s)=\sum _s{d}_{\pi }(s)\sum _a\nabla \pi (a|s)q_{\pi }(s,a) \\ =\sum _s{d}_{\pi }(s)\sum _a\pi (a|s)q_{\pi }(s,a)\frac{\nabla \pi (a|s)}{\pi (a|s)} \\ =E_{s\sim d,a\sim \pi }[q_{\pi }(s,a)\nabla \ln {\pi }_{\theta }(a|s)]=E_{s\sim d,a\sim \pi }[G_t\nabla \ln {\pi }_{\theta }(a|s)] \end{gathered}$$

倒数第三个等号，把$\pi$提出来是因为要对s,a同时取期望，才能用采样的方式更新。最后一个等号是因为$E[G_t|s,a]=q(s,a)$

直观理解: 梯度代表朝这方向增加$\theta$能够增加选取此动作的概率，前面乘$G$就代表有利时提升选取动作概率、反之降低。再看一下监督学习时logistic回归的目标函数$-y\log \pi$，感觉非常像多了个常数倍系数的分类问题

PG优势

• 可以逼近确定性策略也可以逼近随机策略 (如使用softmax)
• 策略函数相较于价值函数可能更好参数化学习
• 更容易引入先验知识 (?)
• 更新时更平滑 ($ϵ$-greedy是离散的更新)、有更好的收敛性

Baseline

$${\nabla }_{\theta }J(\theta )=E_{\pi }[(q_{\pi }(s,a)-b(s))\nabla \ln {\pi }_{\theta }(a|s)]$$

• 证明: 引入Baseline期望不变 (要求b不能是动作a的函数)

$$\begin{gathered} {\nabla }_{\theta }J(\theta )=\sum _s{d}_{\pi }(s)\sum _a\nabla \pi (a|s)(q_{\pi }(s,a)-b(s))=\sum _s{d}_{\pi }(s)\sum _a\nabla \pi (a|s)q_{\pi }(s,a) \\ 其中\sum _s{d}_{\pi }(s)\sum _a\nabla \pi (a|s)b(s)=\sum _s{d}_{\pi }(s)b(s)\nabla \sum _a\pi (a|s)=\sum _s{d}_{\pi }(s)b(s)\nabla 1=0 \end{gathered}$$

• 性质: 引入Baseline将改变方差

$$\begin{gathered} Var[\sum _{\tau }(G_{t:T-1}-b(s))\nabla \ln {\pi }_{\theta }(a|s)] \\ =\sum _{\tau }Var[(G_{t:T-1}-b(s))\nabla \ln {\pi }_{\theta }(a|s)] \\ =\sum _{\tau }{E}_{\tau }[([\nabla \ln {\pi }_{\theta }(a|s)][G_{t:T-1}-b(s)]{)}^2] \\ =\sum _{\tau }{E}_{\tau }[(\nabla \ln {\pi }_{\theta }(a|s){)}^2{E}_{\tau }[(G_{t:T-1}-b(s){)}^2] \end{gathered}$$

第一个等号成立要求数据之间独立, 因为$D(X+Y)=D(X)+D(Y)+Cov(X,Y)$，因此数据不独立时上面的估计不准确

最终我们只要选取$b(s)=E(G_{t:T-1})$就可以最小化方差 (选$b=v(s)$时方差必定减小)

连续动作空间的参数化

• 假设$\pi$服从高斯分布，参数化后表达式如下，这样就可以使用链式法则反向传播

$$\pi (a|s,\theta )=\frac{1}{{\sigma }_{s,\theta }\sqrt{2\pi }}\exp (-\frac{(a-{\mu }_{s,\theta }{)}^2}{2{\sigma }_{s,\theta }^2})$$