强化学习4-actor-critic 方法

Actor-Critic Methods

1. 状态值函数的近似

现在我们直到状态值函数：
$$V_{\pi }(s_t)=\sum _a\pi (a|s_t)\cdot Q_{\pi }(s_t,a).$$

等式右边有两个函数，一个是策略函数，一个是价值函数，策略用来给出动作的概率，价值用来给出动作的回报，遍历所有动作，即得到该状态下的状态值函数。

我们现在的方案是将策略函数和价值函数用两个神经网络来代替：

$$V_{\pi }(s_t)=\sum _a\pi (a|s_t)\cdot Q_{\pi }(s_t,a)\approx \sum _a\pi (a|s_t;\theta )\cdot Q_{\pi }(s_t,a;w)$$

其中 $\theta$ ,$w$表示两个神经网络的参数（用来训练）。

策略网络控制动作， 而价值网络评价动作的好坏。

2. 训练网路

现在我们得到了一个状态值函数的表达式：
$V(s;\theta ,w)={\sum }_a\pi (a|s;\theta )\cdot q(s,a;w)$
我们如何来通过上式更新参数 $\theta ,w$呢？ ——控制变量法

1. 当我们固定策略$\theta$时，调整价值网络$w$来使得critic评估尽量接近真实值
2. 当我们固定价值$w$时，调整策略$\theta$，来最大化回报。

3. 所以伪代码为

1. 观测当下状态$s_t$
2. 根据现有策略随机抽样$a_t$
3. 执行$a_t$并观测下一个状态$s_{t+1}$和立即回报$r_t$
4. 使用时间差分法更新价值网络参数$w$
5. 使用梯度上升更新策略网络参数$\theta$

步骤4详细：

1. 先根据现有策略随机抽取下一次动作$a_{t+1}$,其实并不执行，为了后续计算使用
2. 使用现有的评价网络得到：$q_t=q(s_t,a_t;w_t)$ 和 $q_{t+1}=q(s_{t+1},a_{t+1};w_t)$
3. 计算TD error: ${\delta }_t=q_t-(r_t+\gamma \cdot q_{t+1})$
4. 计算神经网络梯度: $d_{w,t}=\frac{\delta q(s_t,a_t;w)}{\delta w}{|}_{w=w_t}$
5. 更新价值神经网络参数： $w_{t+1}=w_t-\alpha \cdot {\delta }_t\cdot d_{w,t}$

步骤5详细：

1. 计算策略网络梯度： $d_{\theta ,t}=\frac{\delta log\pi (a_t|s_t,\theta )}{\delta \theta }{|}_{\theta ={\theta }_t}$
2. 更新策略网络： ${\theta }_{t+1}={\theta }_t+\beta \cdot {\delta }_t\cdot d_{\theta ,t}$