【强化学习】Actor-Critic

原文链接：https://www.yuque.com/yahei/hey-yahei/rl-actor_critic

参考：机器学习深度学习（李宏毅） - Actor-Critic

Actor with Critic

以policy-based的actor为主体，融入value-based的critic；
一般Policy Gradient的改进技巧在这里依旧同样适用

AC: Actor-Critic

回顾Policy Gradient，梯度的计算公式如下，
$$\nabla {\bar{R}}_{\theta }\approx \frac{1}{N}\sum _{n=1}^N\sum _{t=1}^{T_n}\left(\sum _{t^{\prime }=t}^{T_n}{\gamma }^{t^{\prime }-t}{r}_{t^{\prime }}^n-b\right)\nabla \log p\left(a_t^n|s_t^n,\theta \right)$$
记$$G_t^n=\sum _{t^{\prime }=t}^{T_n}{\gamma }^{t^{\prime }-t}{r}_{t^{\prime }}^n$$，在实际训练过程中，KaTeX parse error: Expected group after '_' at position 4: G^n_̲是很不稳定的——这是因为G值很可能差异很大，而我们采样的数量却很少，容易采样到比较极端的数值。
所以我们会想到，能不能用稳定的KaTeX parse error: Expected group after '_' at position 4: G^n_̲的期望$$E[G_t^n]$$来替代采样的$$G_t^n$$呢？答案显然是可以的，按照Q Learning的定义，$$Q^{{\pi }_{\theta }}(s_t^n,a_t^n)$$恰好就是这个期望，也即 E [ G t n ] = Q π θ