self_play简介

图 基于联盟对抗的自博弈训练框架

自博弈介绍：首先通过策略训练得到一个智能体，然后训练到一定程度，换对手为智能体进行训练博弈，然后等待对手智能体训练到一定的程度，再换己方智能体训练，循环往复。

联盟对抗：基于智能体的自博弈，将己方和对手智能体训练得到的具有一定胜率的策略放进己方和对手的策略池中，将策略池的策略通过概率选择器进行选择其中之一，让己方和对手智能体进行对抗。

主智能体（Main Agent）: 为正在训练的智能体，用于训练鲁棒性最强的策略，也是最后部署的策略。也就是己方智能体。

主探索智能体（Main Exploiter）：与当前主智能体对抗来发现当前主智能体的弱点。也就是对手智能体。

其目的是为了增强泛化性能，在红蓝对抗中，仅仅依赖对抗规则策略得到动作模型在换一个策略之后很有可能会失效。而这种方式让红蓝双方有来有回的进行策略迭代，让行为模型往更优的地方发展。