总结
ddpg,每个agent的q,输入为所有agent的action及所有agent的obs,即actor是分开的,公用1个critic
细节
actor-critic,multi-agent合作
前置条件:
- 每个agent的policy只能使用local info,即自己的obs
- env模型不是differentiable
- agent之间的交流器不differentiable
更新policy时:
∇ θ i J ( θ i ) = E [ ∇ θ i log π i ( a i ∣ o i ) Q ( x , a 1 , … , a N ) ] \nabla_{\theta_i}J(\theta_i) = \mathbb{E}[\nabla_{\theta_i}\log \pi_i(a_i|o_i)Q(x, a_1, \dots, a_N)] ∇θiJ(θi)=E[∇θilogπi(ai