强化学习笔记_4_Actor-Critic Methods

1. Value Network and Policy Network

• State-Value Function Approximation $V_{\pi }={\sum }_a\pi (a|s)\cdot Q_{\pi }(s,a)$

  Policy network(actor): $\pi (a|s;\theta )$

  Value network(critic): $q(s,a;w)$
  $$V_{\pi }=\sum _a\pi (a|s)\cdot Q_{\pi }(s,a)\approx \sum _a\pi (a|s;\theta )\cdot q(s,a;w)$$

• Policy Network (Actor): $\pi (a|s;\theta )$

  

• Value Network (Critic): $q(s,a;w)$

  

• Actor-Critic Method

2.Train the Neural Network

$$V(s;\theta ,w)=\sum _a\pi (a|s;\theta )\cdot q(s,a;w)$$

• 模型训练：更新参数$\theta ,w$

  • 更新$\pi (a|s;\theta )$以提升$V(s;\theta ,w)$

  • 更新$q(s,a;w)$以使其打分更加精确

• 算法步骤：

  • 观测得到状态$s_t$

  • 以概率$\pi (\cdot |s_t;{\theta }_t)$随机采样得到动作$a_t$

  • 通过动作$a_t$，得到新的状态$s_{t+1}$和回报reward $r_t$

  • 通过TD-Learning更新参数$w$

  • 通过Policy Gradient更新参数$\theta$

• Update value network $q$ using TD

  • compute $q(s_t,a_t;w_t)$ and $q(s_{t+1},a_{t+1};w_t)$
  • TD target: $y_t=r_t+\gamma \cdot q(s_{t+1},a_{t+1};w_t)$
  • Loss: $L(w)=\frac{1}{2}[q(s_t,a_t;w_t)-y_t{]}^2$
  • Gradient descent: $w_{t+1}=w_t-\alpha \cdot \frac{\partial L(w)}{\partial w}{|}_{w=w_t}$

• Update policy network $\pi$ using policy gradient

  • Let $g(a,\theta )=\frac{\partial \log \pi (a|s;\theta )}{\partial \theta }\cdot q(s_t,a;w)$
  • $\frac{\partial V(s;\theta ,w_t)}{\partial \theta }=E_A[g(A,\theta )]$
  • 以概率$\pi (\cdot |s_t;{\theta }_t)$随机抽样得到动作$a$，计算$g(a,\theta )$作为$\frac{\partial V(s;\theta ,w_t)}{\partial \theta }$的无偏估计（unbiased）
  • Stochastic gradient ascent: ${\theta }_{t+1}={\theta }_t+\beta \cdot g(a,{\theta }_t)$

3.算法步骤总结

在第9步中，使用$q_t$进行计算为标准算法，如将$q_t$替换为第5步得到的${\delta }_t$，则为Policy Gradient with Baseline方法。二者对期望没有影响，但是使用好的Baseline可以降低方差，使方差收敛更快。

Baseline：任何接近$q_t$的数都可以作为Baseline，但是不可以为动作$a_t$的函数。如果使用第5步的${\delta }_t$，则Baseline为$r_t+\gamma \cdot q_{t+1}$

作$a_t$的函数。如果使用第5步的${\delta }_t$，则Baseline为$r_t+\gamma \cdot q_{t+1}$