weixin_47698927的博客

原创 MADDPG算法学习笔记（一）

相反，如果Critic给的分数低，那么就减少这个动作输出的概率。首先，用一张图来表示DDPG的整体结构，其中，S表示智能体状态，A表示智能体的动作，Q值为从任务开始到结束智能体状态的总奖励值。当我们把某个state输入到DDPG的Actor中的时候，相当于在这块布上做沿着state所在的位置剪开，这个时候大家会看到这个边缘是一条曲线。这个和之前DQN的更新公式非常像，只不过DQN的更新用了Q，而TD-error用的是V。如上图中的红色曲线，这条曲线指的是在某个状态下，选择某个动作值的时候，能获得的。