李宏毅深度强化学习(国语)课程(2018) 笔记（六）Actor-Critic

李宏毅深度强化学习(国语)课程(2018)

 李宏毅深度强化学习(国语)课程(2018)_哔哩哔哩_bilibili

 Actor-Critic的代表方法A3C，“Asynchronous Methods for Deep Reinforcement Learning”

由于G非常unstable，所以，sample的值会差别很大，如果sample足够多，其实没有问题。但是，实际中sample次数是有限的，这样做policy gradient 去update参数，得到的结果可能是天差地别的。

 Q Learning复习。

为了让这个training的process变得比较stable一点，引入value based方法，直接估测G 这个random variable的期望值，用期望值代替sample的值。

为了只评估一个network，减少误差，引入以下推导。

 A2C工作原理。

为了增加训练速度，A3C同时增加多个worker，每个worker用一张CPU去跑。有一个global 的 network。

 Pathwise Derivative Policy Gradient算法：Q learning解continuous action的一种特别的方法，或一种特别的Actor-Critic的方法。critic会直接引导actor做什么样的action，可以得到比较大的value。

 Pathwise Derivative Policy Gradient算法工作原理。

Pathwise Derivative Policy Gradient算法流程：actor π跟环境互动，去estimate Q value，estimate 完Q value以后，假设Q估的很准，将Q 固定。接下来train actor，actor learning的方向，就是希望actor output的a，输入到Q里面，值越大越好。

Pathwise Derivative Policy Gradient算法流程形式化表示：

复习Q learning的算法流程。

 Pathwise Derivative Policy Gradient的算法流程。