算法学习（十九）——A3C

一句话：支持分布式运算的AC

如果理解了AC，理解A3C很容易，没有理论上的创新，主要是工程上效果好。

如图所示，A3C算法通过多个work和环境互动，把环境的梯度给一个全局的网络，也就是通过不同work共同更新一个网络，每次更新全局网络，都把work的网络和全局网络同步，在下次work返回梯度的时候，都是比较的全局网络与环境互动的梯度，保障了全局网络不断朝好的方向发展。个人理解这样离线更新的方式还能防止过估计。也可以用下图表示：

参考文章：

[A3C]：看我的影分身之术(附代码及代码分析) - 知乎A3C我们之前说过，强化学习的一个难点，智能体的用于学习的数据，需要智能体和环境不断进行交互。和一般有监督学习的先比，数据数量太少了。 所以，在算法没有更大进步的时候，有人就想出，如果我又多个智能体和环…https://zhuanlan.zhihu.com/p/111336330