AlphaZero：一种人类从未见过的智慧

关注网易智能，聚焦AI大事件，读懂下一个大时代！

出品 | 网易智能（公众号 smartman163）

选自 | 纽约时报等

编译 | 晗冰  责编 | 小羿

在围棋上打败天下无敌手之后，DeepMind旗下的Alpha家族开始深入探究所有棋类，其中就包括国际象棋、日本将军棋。

2018年12月初，在AlphaZero诞生一周年之际，《自然》杂志以封面文发布了AlphaZero经过同行审议的完整论文，Deepmind创始人兼CEO哈萨比斯亲自执笔了这一论文。

AlphaGo Zero发布于2017年10月，而起真正受到重视是在去年12月初发布的《科学》杂志上，论文显示，AlphaGo Zero在三天内自学了三种不同的棋类游戏，包括国际象棋、围棋和日本将军棋，而且无需人工干预。这一成果震惊了国际象棋世界，几个小时内，AlphaGo Zero就成为了世界上最好的棋类玩家。

众所周知，在国际象棋方面，IBM的深蓝在20年前就打败了国际象棋大师，而后续的Stockfish和Komodo这些国际象棋程序也早已独霸国际象棋世界。在AlphaGo Zero发布之后，很多人质疑了其在国际象棋领域的价值。而本次的完整论文，对一些人认为机器算法下国际象棋没有价值的论调提出了几个措辞颇为严厉的批评。这是因为，在过去的12个月里，AlphaZero清楚展示了人类从未见过的一种智慧。

下面，就让我们通过论文来分析下AlphaZero到底。

01

深蓝、Stockfish和Komodo虽然能赢人类，但不能真正理解棋局

文章指出，在过去的二十年里，用机器算法下国际象棋已经取得了很大进步。1997年,IBM公司的国际象棋程序“深蓝”(Deep Blue)在一场六局的比赛中击败了当时的人类世界冠军卡斯帕罗夫(Garry Kasparov)。现在看来，这一成就并不神秘。深蓝每秒可以计算2亿个位置。它从不疲倦，从不在计算中出错，也从不会忘记片刻之前的想法。

无论结果是好是坏，“深蓝”都像一台真正的机器，粗暴而物质化。它的计算能力远超过卡斯帕罗夫，但却无法真正从思维上超越他。在第一局的比赛中，深蓝贪婪地接受了卡斯帕罗夫用车换一名主教的牺牲，却在16步之后输了比赛。现在，诸如Stockfish和Komodo等当前世界上最强的国际象棋程序仍然在以这种方式下棋。它们喜欢吃掉对手的棋子；它们防守像钢铁一样强悍。但是，尽管这些国际象棋程序要比任何人类棋手强大得多，但并没有真正理解棋局本身的意义。

经过几十年的发展，人类大师关于棋类游戏的经验都被作为复杂的评估工具编进程序中，表明在下棋中该寻求什么样的有利位置以及避免陷入什么样的不利境地。比如，王的安全性，棋子的活动、兵形、中心控制，以及如何平衡利弊。但以往很多国际象棋程序却天生无视这些原则，给人留下的印象是野蛮粗暴的，这些程序速度快得惊人，但却完全缺乏洞察力。

02

AlphaGo Zero不仅打败了人类和所有程序，还拥有洞察力

所有这些都随着机器学习的兴起而改变。AlphaZero通过与自己对弈并根据经验更新神经网络，从而发现了国际象棋的原理，并迅速成为史上最好的棋手。它不仅能够轻而易举地击败所有最强大的人类棋手，还能击败当时的计算机国际象棋世界冠军Stockfish。在与Stockfish进行的100场比赛中，AlphaZero取得28胜72平的好成绩。它没有输掉一场比赛。

最令人不可思议的是，AlphaZero似乎表达出一种天然的洞察力。它具备浪漫而富有攻击性的风格，以一种直观而优美的方式发挥着电脑所没有的作用。它会玩花招，冒险。在其中几局中，它使Stockfish瘫痪并玩弄它。当AlphaZero在第10局进行进攻时，它把自己的皇后佯退到棋盘的角落里，远离Stockfish的国王。通常来说，这并不是攻击皇后应该被放置的地方。

然而，这种奇怪的撤退行为充满了恶意，不管Stockfish如何应对，它都注定要失败。经过数十亿次残酷的计算后，AlphaZero几乎是在等待Stockfish意识到，自己的处境是多么无望，就像一头被击败的公牛面对斗牛士一样平静落败。大师们从未见过这样的机器。AlphaZero拥有精湛的技艺，同时也拥有机器的力量。这是人类第一次瞥见一种令人敬畏的新型智能。

很明显，AlphaZero获胜靠的是更聪明的思维，而不是更快的思维。它每秒只计算6万个位置，而Stockfish会计算6千万个。它更明智，知道该思考什么，该忽略什么。卡斯帕罗夫在《科学》杂志文章附带的一篇评论中写道，AlphaZero通过自主发现国际象棋的原理，开发出一种“反映游戏真相”的玩法，而不是“程序员式的优先级和偏见”。

03

除了棋类，AlphaZero还能做什么？

现在的问题是，机器学习能否帮助人类发现所关心问题的真相？比如像癌症和意识、免疫系统之谜、基因组之谜等科学和医学尚未解决的重大问题。

早期迹象令人鼓舞。去年8月份，《自然医学》上的两篇文章探讨了机器学习如何应用于医学诊断。在一项研究中，DeepMind研究人员与伦敦莫尔菲尔德眼科医院(Moorfields Eye Hospital)的临床医生合作，开发出一种深度学习算法，可以准确地对各种视网膜病变进行分类。

另一篇文章也涉及一种机器学习算法，其能够确定急诊室病人的CT扫描是否显现出中风、颅内出血或其他重要神经疾病的迹象。对于中风患者来说，每一分钟都很重要;治疗耽误的时间越长，结果就越糟。新算法的准确性堪比人类专家，而且比人类专家快150倍。一个更快的诊断有助于医生对最紧急病例进行快速分类，并由人类放射科医生进行复查。

然而令人沮丧的是，机器学习算法还无法清晰表达它们的想法。我们不知道它们如何得出结论，所以也就无从确定能否信任机器。AlphaZero似乎已经发现了一些有关国际象棋的重要原则，但它无法与我们分享这种洞察力。作为人类，我们想要的不仅仅是答案，我们想要的是洞察力。从现在起，这将成为我们与电脑互动交流的开始。

事实上，这一情况在数学领域中早有耳闻。四色映射定理就是这样一个长期存在的数学问题。该定理指出在一定的合理约束条件下，有关相邻国家的任何地图都可以只使用四种颜色进行着色，这样相邻两个国家的颜色就不会相同。

虽然人们最终在计算机帮助下于1977年证明了四色映射定理，但是没有人能够检验论证中的所有步骤。从那以后，这个定理的证明得到了验证和简化，但仍有一些部分需要进行蛮力计算。这种发展使许多数学家感到恼火。他们不需要确认四色定理是正确的，但他们想知道为什么这是真的，但是证明没有帮助。

04

畅想未来：通用算法何时到来？

但是设想有一天，也许就在不久的将来，AlphaZero已经发展成为一种更通用的解决问题算法，其将拥有至高无上的洞察力，它能够拿出漂亮的证据，就像AlphaZero与Stockfish对弈时一样优雅，而且每一个证明都会揭示为什么定理是正确的。

对于人类数学家和科学家来说，这一天将标志着一个新时代的到来。机器的速度越来越快，相比之下人类神经元却以毫秒级的速度缓慢运转，我们再也跟不上机器的理解速度，人类洞察力的黎明可能很快就会变成黄昏。

无论是基因调控或癌症，还是免疫系统的编排，抑或是亚原子粒子的运动，其中或许还存在有待于发现的更深层模式。假设这些模式需要超越人类的更高智能来预测，而AlphaZero的继任者又能够识别并理解它们，那么在我们人类看来算法就像是一个神谕。

或许未来，我们不再明白为什么计算机的结论总是正确的，但我们可以通过实验和观察来检验它的计算和预测。科学将把我们的角色降低到旁观者的角色，在惊奇和困惑中目瞪口呆。

也许最终我们不再纠结于人类自身关于洞察力的匮乏。毕竟机器算法将能够治愈我们所有的疾病，解决我们所有的科学问题，并让我们所有的一切顺利前行。在我们作为智人存在的最初30万年时间里，我们在没有多少洞察力的情况下一样生存得相当好。我们将自豪地回忆起人类洞察力的黄金时代，这段几千年的辉煌插曲就发生在我们不理解的过去和我们不可思议的未来之间。

05

Alpha家族高手炼成记

Alpha家族系列出自DeepMind公司，这家公司是2010年由杰米斯·哈萨比斯，谢恩·列格和穆斯塔法·苏莱曼创立的。在2014年，DeepMind荣获了剑桥大学计算机实验室的“年度公司”奖项。2014年1月26日，Google宣布收购DeepMind科技，收购的价格大概为4亿美元。

显然，DeepMind真正被全球熟知是在第一次人机大战之后，从2016年的那场对弈之后，DeepMind旗下的围棋AI就开始了超神之路。

2016年1月27日，AlphaGo在没有任何让子的情况下，以5:0完胜欧洲围棋冠军、职业二段选手樊麾。在围棋人工智能领域，实现了一次史无前例的突破。计算机程序能在不让子的情况下，在完整的围棋竞技中击败专业选手，这是第一次。

2016年3月，阿尔法围棋与围棋世界冠军、职业九段棋手李世石进行围棋人机大战，以4比1的总比分获胜，举世哗然，人工智能概念开始被大众熟知。

2016年末2017年初，该程序在中国棋类网站上以“大师”（Master）为注册账号与中日韩数十位围棋高手进行快棋对决，连续60局无一败绩。

2017年5月，在中国乌镇围棋峰会上，阿尔法围棋以3比0的总比分战胜排名世界第一的世界围棋冠军柯洁。在这次围棋峰会期间的2017年5月26日，阿尔法围棋还战胜了由陈耀烨、唐韦星、周睿羊、时越、芈昱廷五位世界冠军组成的围棋团队。在柯洁与阿尔法围棋的人机大战之后，阿尔法围棋团队宣布阿尔法围棋将不再参加围棋比赛。

2017年10月18日，DeepMind团队公布了最强版AlphaGo ，代号AlphaGo Zero。它的独门秘籍是“自学成才”。而且，是从一张白纸开始，零基础学习，在短短3天内，成为顶级高手。经过短短3天的自我训练，AlphaGo Zero就强势打败了此前战胜李世石的旧版AlphaGo，战绩是100:0的。

2017年12月5日，AlphaGo Zero迎来升级，这个被称为AlphaZero的程序在三天内自学了三种不同的棋类游戏，包括国际象棋、围棋和日本的将军棋，无需人工干预，一篇描述这一成就的论文今年12月初在《科学》杂志发表。在AlphaZero之外，DeepMind在医疗领域还打造了一个名为AlphaFold的AI系统，它能够应对当今生物学中最大的挑战之一：模拟蛋白质的形状。

2018年12月，AlphaGo Zero登上《自然》杂志封面，完整论文首次公开。

- 加入社群吧 -

网易智能AI社群（AI专家群、AI黑板报）火热招募中，对AI感兴趣的小伙伴，添加智能菌微信 kaiwu_club，说明身份即可加入。