前言
MARL基础算法第三类基于策略的学习
一、基于策略方法的提出
目前为止方法总体就是评估价值函数，基于价值函数更新策略，这些方法都具有一定的限制，如JAL-SG不能有效收敛到均衡状态，而虚拟博弈不能收敛到随机策略分布的情况，因此基于策略的方法提出，利用数据直接优化联合策略。
二、普遍的梯度上升的更新方法
首先根据智能体i的策略采取对智能体j的动作后得到的效益函数
U
i
(
π
i
,
a
j
)
=
∑
a
i
∈
A
i
π
i
(
a
i
)
R
i
(
a
i
,
a
j
)
.
\begin{aligned}U_i(\pi_i,a_j)&=\sum_{a_i\in A_i}\pi_i(a_i)\mathcal{R}_i(a_i,a_j).\end{aligned}
Ui(πi,aj)=ai∈Ai∑πi(ai)Ri(ai,aj).
针对
π
i
\pi_i
πi求偏导
根据第k轮episode当中的策略以及其他智能体采取的动作进行更新
更新的第一步是无约束的梯度上升，通过投影算子将更新后的策略投影到有效的空间内
其中，
P
(
x
)
=
arg
min
x
′
∈
Δ
(
A
i
)
∣
∣
x
−
x
′
∣
∣
P(x)=\arg\min_{x^{\prime}\in\Delta(A_i)}||x-x^{\prime}||
P(x)=argminx′∈Δ(Ai)∣∣x−x′∣∣
3037
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
