【强化学习-12】Dueling netrwork (可以再DQN及其他地方)

本笔记整理自 (作者: Shusen Wang):
https://www.bilibili.com/video/BV1rv41167yx?from=search&seid=18272266068137655483&spm_id_from=333.337.0.0

Advantage function (优势函数)

• $A^{\ast }(s,a)=Q^{\ast }(s,a)-V^{\ast }(s)$
• 注意，这里$V^{\ast }(s_t)={\max }_{\pi }{V}_{\pi }(s_t)={\max }_{\pi }{\mathbb{E}}_A[Q_{\pi }(s_t,A)]$
• 因此， $V^{\ast }(s)$是动作价值函数$Q_{\pi }(s,a)$在policy函数$\pi$上求期望得来的
• 根据定理$V^{\ast }(s)={\max }_a{Q}^{\ast }(s,a)$，因此$V^{\ast }(s)⩾Q^{\ast }(s,a)$
• 这里，$V^{\ast }(s)$相当于是baseline，而$A^{\ast }(s,a)$就是action $a$相对于baseline的优势