李宏毅强化学习笔记【3.Actor-Critic】

复习策略梯度policy gradient

计算在某一个state，采取action a的概率。到游戏结束为止，获得多少reward。

G很不稳定。除非sample很多。

 

复习Q-learning

用期望代替sample，value-based

第一种方法算V，用π和环境做互动，看到s之后，累计reward期望值是多少。

第二种方法，用π，当再s采取a，累计reward是多少。

TD比较稳，MC比较精确。

 

Actor-Critic

算G的期望，即是Q，即在s采取a的累计reward期望值。

V与action无关，Q与action有关。

 

这样要预测两个网络Q和V。

所以用r+V代替Q。

因为s采取a变成的st+1是什么不确定，所以用期望。但是比较麻烦，去掉期望。r是一个变量，但是比G的方差比较小。

 

π和环境互动，学习Value function。套用下面的式子学到新的π。

 

Tip：

1.π和V的参数可以被分享。

2.不同的action采取的几率平均一点，这样可以尝试探索。

比如把网络设计成这样。让前面几层公用同一个参数。

 

A3C 为了加快训练

开很多worker，每个worker和环境做互动。

复制全局参数，sample一些data，计算梯度，更新全局模型。

所有的actor是平行的，互不相关。就是复制参数跑。有可能等跑完了全局参数已经变了，但是没关系。

 

Pathwise Derivative Policy Gradient

输入s，输出a，让Q越大越好。固定Q参数，只调整Actor的参数

就是一个gan。Q就是辨别器，A是生成器。

 

用π生成a。有一个target π，平常是固定的。