DeepMind新突破：雷神之锤3战场AI夺旗，团战胜率超过人类

黑栗子 发自 凹非寺
量子位 出品 | 公众号 QbitAI



OpenAI战队在5v5刀塔比赛上打败人类，才是几天前发生的事。

如今，DeepMind为了训练AI电竞的团魂，也已把触手伸向了雷神之锤3竞技场。

DM的强化学习智能体，不止要和AI队友一起攻打人类的阵地，也要和人类队友并肩作战。



至少，在夺旗 (Capture the Flag) 比赛中，AI的胜率比人类高。

而且，这里的比赛，比原版游戏还要复杂多变。

拔下对方的大旗

DeepMind团队这次选择的雷神之锤3竞技场，是款3D第一人称多人游戏，也是培育AI团战技能的好地方。

其中的夺旗游戏，两队的目标都是拔掉对方的旗子，将己方旗子守在自己的大本营。

我是蓝方，就需要标记 (Tag) 扛着蓝旗往回跑的红方敌人，我方的旗子才能失而复得。



如果红方把蓝旗搬到了他们的阵地，就不好了。所以，队友之间要紧密配合才行。

规则其实很简单，但场景的变化很复杂。

不过，DeepMind团队还想让情况更复杂一些，给AI更有 (bian) 趣 (tai) 的锻炼。

于是，夺旗游戏的地图上，发生了一些可爱的改动。

各种地图，训练有素

每场比赛之间，地图都会发生变化。这个变化，是随着比赛的进行生成的。



这样一来，智能体要学会应付，许多没有见过的新地图。

DeepMind的强化学习模型，有三个要点——

· 第一，既然是团战，当然要把几只智能体扔进竞技场一起训练。

它们要学习，怎样和队友亲密互动，打击敌人。



· 第二，每个智能体要学习，它自己的奖励信号，建立自己的小目标，比如拔掉对方的旗。

优化过程是双层 (Two-Tier) 的，可以优化智能体内部的奖励，让奖励信号更直接地指向胜利。

· 第三，智能体在两种节奏里面运行，一种快，一种慢，这样可以增强它们运用记忆体、生成稳定的动作套路，的能力。



神经网络的架构，称为FTW (For The Win) ，为了赢 (字母顺序不要颠倒) 。

这里，有快速和慢速训练用的RNN，有一个共享存储模块，可以学习怎样把游戏中的某个点，转换为相应的奖励。

稳胜人类一筹

训练好的智能体，就做好了赢的准备。

面对地图大小的变化，队友数量的变化，以及敌方的变量，都表现出训练有素的样子。



这是户外地图，红蓝双方都是AI，斗争非常激烈。

室内地图，则是AI与人类选手组成的混合战队，与纯AI战队的斗争。



DeepMind这次一共动用了**40个人类加入战斗，与AI随机组队。看得出他们的比赛并不轻松。

最终的结果，人类胜率不及AI。



另外，不管强大的人类，还是普通的人类，Elo评分都没有FTW那么高。

AI为什么赢？

除了看到AI拔旗比人类厉害，团队还想知道，它们是凭什么赢。

于是，就研究了AI的行为模式，观察一下它们是怎么理解比赛的。



各种颜色的点点，分别代表， 旗在阵地，队友扛走敌方大旗，自身处在敌方阵地等等。

不同战况之下，AI的反应明显不同。安全和危险，分得清清楚楚。

甚至有一些神经元，是专为某种特定境况而生的。

没有人教过AI，比赛规则是什么，但它们依然能够在训练中，产生战士的修养和自觉。



另外，团队还发现，AI的战斗力虽然是在非监督学习中炼成的，但它们也像人类一样，会跟着队友走，会在敌方阵地上玩耍，如此种种。

果然，即便再放养，AI的爸爸也还是人类吧。



— 完 —

加入社群

量子位AI社群18群开始招募啦，欢迎对AI感兴趣的同学，加小助手微信qbitbot8入群；

此外，量子位专业细分群(自动驾驶、CV、NLP、机器学习等)正在招募，面向正在从事相关领域的工程师及研究人员。

进群请加小助手微信号qbitbot8，并务必备注相应群的关键词~通过审核后我们将邀请进群。（专业群审核较严，敬请谅解）

实习生招聘

量子位正在招募活动运营实习生，策划执行AI明星公司CEO、高管等参与的线上/线下活动，有机会与AI行业大牛直接交流。工作地点在北京中关村。简历欢迎投递到quxin@qbitai.com

具体细节，请在量子位公众号(QbitAI)对话界面，回复“实习生”三个字。

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态