DRL笔记

十四.Reinforement learning

一.概述

1.RL存在的困难

• 延迟奖励：虽然“向左”、“向右”移动无法得到奖励，但是有助于获得更大的奖励；
• agent采取的行为会影响它看到的东西，要会探索这个世界；

2.方法

• policy-based approach(learning an actor)
• value-based approach(learning a critic)
• actor+critic (A3C)

二.policy-based approach

1.梗概

2. 3大步骤

2.1 step1：neural network as actor

输入：observation；输出：action的分布

2.2 step2：goodness of a function

假设让actor(定义为：${\pi }_{\theta }(s)$)玩一场游戏(episode)从开始到结束有这样一个轨迹(trajectory)：
τ = { s 1 , a 1 , r 1 , s 2 , a 2 , r 2 , … , s T , a T , r T } \tau=\{ s_1,a_1,r_1,s_2,a_2,r_2,\dots,s_T,a_T,r_T\} τ={ s1​,a1​,r1​,s2​,a2​,r2​,…,sT​,aT​,rT​};
$R_{\theta }={\sum }_{t=1}^T{r}_t$;
由于actor和游戏具有随机性，故$R_{\theta }$是一个随机变量，故转而求它的期望值(${\bar{R}}_{\theta }$)的最大值;
期望：${\bar{R}}_{\theta }={\sum }_{\tau }R(\tau )p(\tau |\theta )$;
抽样 { τ 1 , τ 2 , … , τ N } \{\tau^1,\tau^2,\dots,\tau^N\} { τ1,τ2,…,τN}估计总体:
即：${\bar{R}}_{\theta }\approx \frac{1}{N}{\sum }_{n=1}^{N}R({\tau }^n)$

2.3 step3:pick the best function

1.目标函数：${\theta }^{\ast }=\underset{\theta }{\mathrm{argmax}}{\bar{R}}_{\theta }$
2.梯度上升法(policy gradient)：${\theta }^{new}\leftarrow {\theta }^{old}+\eta ▽{\bar{R}}_{\theta }$
3.推导过程
$$\begin{array}{rl}{\bar{R}}_{\theta }& =\sum _{\tau }R(\tau )p(\tau |\theta )\\ ▽{\bar{R}}_{\theta }& =\sum _{\tau }R(\tau )▽p(\tau |\theta )\\ & =\sum _{\tau }R(\tau )p(\tau |\theta )\\ & \\ & \\ \tau & \\ p(\tau |\theta )& \\ & \\ ▽{\bar{R}}_{\theta }& \end{array}$$