新AlphaGo首度揭秘:单机运行,4个TPU,算法更强

转载 2017年05月24日 22:42:13

新AlphaGo首度揭秘:单机运行,4个TPU,算法更强

  

  到底是谁击败了柯洁?

  答案似乎显而易见。但量子位之所以问这个问题,是因为如今击败柯洁的AlphaGo,与去年击败李世乭的AlphaGo,有着本质的区别。

  DeepMind把AlphaGo粗略分成几个版本:

  • 第一代,是击败樊麾的AlphaGo Fan。与Zen/Crazy Stone等之前的围棋软件相比,棋力要高出4子。

  • 第二代,是击败李世乭的AlphaGo Lee。与上一代相比,棋力高出3子。

  • 第三代,是柯洁如今的对手,也是年初60连胜的:AlphaGo Master。相比于击败李世乭的版本,棋力又再次提升3子。

  需要强调的是,AlphaGo Lee和AlphaGo Master有着根本不同。不同在哪里,今天DeepMind创始人兼CEO哈萨比斯(Demis Hassabis),AlphaGo团队负责人席尔瓦(Dave Silver)联手首度揭开新版AlphaGo的秘密。

  量子位这一篇推送的内容,整理自哈萨比斯、席尔瓦今日上午的主题演讲,还有今日午间量子位对这两位DeepMind核心人物的专访。

  单TPU运算,更强的策略/价值网络

  首先用数据说话。

  AlphaGo Lee

  

  • 运行于谷歌云,耗用50个TPU进行计算

  • 每次搜索计算后续50步,计算速度为10000个位置/秒

  • 2016年在首尔击败李世乭

  作为对比,20年前击败卡斯帕罗夫的IBM深蓝,可以搜索计算一亿个位置。席尔瓦表示,AlphaGo并不需要搜索那么多位置。

  AlphaGo Master

  

  • 运行于谷歌云,但只用一个TPU机器

  • 自学成才,AlphaGo自我对弈提高棋力

  • 拥有更强大的策略/价值网络

  由于应用了更高效的算法,这次和柯洁对战的AlphaGo Master,运算量只有上一代AlphaGo Lee的十分之一。所以单个TPU机器足以支撑。

  AlphaGo团队的黄士杰博士也在朋友圈表示,最新的AlphaGo可以被称为单机版。而上一代AlphaGo使用了分布式计算。

  在会后接受量子位采访时,席尔瓦证实此次AlphaGo仍然使用了第一代TPU,而不是前不久公布的第二代。

  另外席尔瓦澄清说:“今年升级版的AlphaGo是在单机上运行的,它的物理服务器上部署了4个TPU”。

  显然PPT有个小小的误导。

  如果你想更进一步了解TPU,这里有几篇量子位的报道推荐:

  回到AlphaGo,可能你也注意到了,这个新版本的围棋AI有了更强大的策略/价值网络。下面围绕这一点继续解密。

  

  席尔瓦 AlphaGo的算法

  为了讲清楚新的策略/价值网络强在哪里,还是应该首先介绍一下AlphaGo的算法如何构成。席尔瓦介绍,量子位搬运如下。

  当初DeepMind团队,之所以选择围棋方向进行研究,一个重要的原因在于围棋是构建和理解运算的最佳试验台,而且围棋的复杂性远超国际象棋,这让电脑无法通过深蓝一样的暴力穷举方式破解围棋的奥秘。

  击败李世乭的AlphaGo,核心是一个卷积神经网络。DeepMind团队希望AlphaGo最终能够理解围棋,形成全局观。席尔瓦表示,AlphaGo Lee由12层神经网络构成,而AlphaGo Master有40层神经网络。

  

  这些神经网络进一步细分为两个功能网络:

  • 策略网络(policy network)

  • 价值网络(value network)

  在这两个网络的训练中,使用了监督学习和强化学习两种方式。

  首先基于人类的专家库数据,对策略网络的上百万参数进行调整。调整的目标,是让策略网络在相同的情况下,能够达到人类围棋高手的水平:下出同样的一步棋。

  然后是强化学习,让人工智能进行自我博弈,这一训练结束后,就形成了价值网络,这被用于对未来的棋局输赢进行预测,在不同的下法中作出优劣判断。

  

  通过策略网络,可以降低搜索的宽度,减少候选项,收缩复杂性。而且不会让AlphaGo下出疯狂不靠谱的步骤。

  

  另一方面,通过价值网络减少深度,当AlphaGo计算到一定的深度,就会停止。AlphaGo不需要一直穷尽到最后。

  把这个两个结合起来,就是AlphaGo的树搜索。通过策略网络选出几个可能的路径,然后对这些路径进行评估,最后把结果提交给树顶。这个过程重复几百上千次,最后AlphaGo得出赢棋概率最高的一步。

  

  新策略/价值网络如何炼成

  那么新的新策略/价值网络,到底强在哪里?

  AlphaGo Master这次成了自己的老师,用席尔瓦的话说,这位围棋AI是自学成才。它从自我对弈的棋局里进行学习,积累了最好的训练数据。“上一代AlphaGo成为下一代的老师”席尔瓦形容道。

  通过AlphaGo的自我博弈,不断吸取经验、提高棋力,这一次AlphaGo用自我对弈训练出的策略网络,可以做到不需要更多运算,直接给出下一步的决策。

  这种改变明显减少了对计算力的需求。

  

  另一个价值网络,也是基于AlphaGo的自我对弈进行训练,通过对弈后的复盘,价值网络能够学到哪一步是关键所在。通过高质量的自我对弈,训练价值网络预测哪一步更重要。

  席尔瓦表示:“在任何一步,AlphaGo都会准确预测如何能赢”。

  

  这个过程不断反复迭代,最终打造了一个更强大的AlphaGo。自我博弈,带来数据质量的提高,从而推动了AlphaGo的快速提升。

  

  如此前一样,DeepMind证实也会公布这一代AlphaGo的相关论文。更多的细节,我们可以期待Deepm稍后的发布。

  攻克智能,解决问题

  AlphaGo来自DeepMind。2010年DeepMind在伦敦成立,目前有500名员工,其中一半是科学家。哈萨比斯说,DeepMind要把人工智能科学家、数据和计算力结合在一起,推动人工智能的发展。

  

  哈萨比斯

  这家公司的愿景:第一是攻克智能。第二是用智能解决所有问题。

  换句话说,DeepMind的目标是构建通用人工智能。所谓通用人工智能,首先AI具备学习的能力,其次能举一反三,执行各种不同的任务。如何抵达这个目标?哈萨比斯说有两个工具:深度学习、强化学习。

  AlphaGo就是深度学习和强化学习的结合。AlphaGo也是DeepMind迈向通用人工智能目标的一步,尽管现在它更多的专注于围棋领域。

  哈萨比斯表示,希望通过AlphaGo的研究,让机器获得直觉和创造力。

  这里所谓的直觉,是通过体验直接获得的初步感知。无法表达出来,可通过行为确认其存在和正误。

  而创造力,是通过组合已有知识产生新颖或独特想法的能力。AlphaGo显然已展示出了这些能力,尽管领域有限。

  “未来能够看到人机结合的巨大力量,人类智慧将被人工智能放大。”哈萨比斯说。目前AlphaGo的技术已经被用于数据中心,能节约15%的电能;另外也能被用于材料、医疗、智能手机和教育等领域。

  尽管已经连战连捷,AlphaGo仍然有继续探索的空间。哈萨比斯和DeepMind仍然想在围棋领域继续追问:我们离最优解还有多远?怎样才是完美棋局?

  当今社会已有越来越多的数据产生,然而人类往往无法通过这些数据了解全局的变化,在这种情况下人工智能有可能推动科研继续进步。

  一切正如国际象棋棋王卡斯帕罗夫所说:

  “深蓝已经结束,AlphaGo才刚开始。”

  专访全文

哈萨比斯、席尔瓦接受量子位等专访

  提问:在Master已经对包括柯洁在内的人类棋手60连胜之后,举办这场比赛的意义在哪里?

  哈萨比斯:Master在网上下的都是快棋,人类棋手在下棋时时间控制得可能不会太精准,人类棋手在网上的注意力也不一定完全集中,因此我们仍然需要跟柯洁进行对弈来对AlphaGo进行测试。

  同时,通过这些网上的对弈,第一,是希望测试一下AlphaGo的系统;第二,也是希望为围棋界提供一些新的想法和思路,给柯洁一定备战的时间,也为他提供一些分析AlphaGo打法的素材。

  提问:关于AlphaGo的行业应用,有哪些您比较看好?今后Deepmind会不会在中国开展一些行业应用?

  哈萨比斯:首先,AlphaGo背后的支撑技术相当多,目前在其他领域的应用还在早期探索阶段。我上午谈到的一些应用,只是AlphaGo围棋可能应用中的一小部分。在未来,我们肯定会将AlphaGo的技术在Google领域的应用,也许在中国也会有相应的业务。

  提问:AlphaGo是否已经实现了无监督学习?它是否在向着强人工智能迈进?

  席尔瓦:首先,AlphaGo使用的是增强学习的方法。我们只能说,AlphaGo在某一特定领域实现了自己的直觉和意识——这和我们所说的人类通过直接训练产生的意识可能有很大不同。因为它并非这种人类意识,因此有机会被应用到其他领域,不仅限于围棋。

  提问:Hassabis先生上午提到,人工智能必须要被正确应用。那么这种“正确”包括哪些原则?

  哈萨比斯:两个层面。第一,AI必须造福人类,应该用于类似科学、制药这类帮助人类的领域,而不能用于一些不好的事情,比如研发武器;第二,AI不能只为少数公司或个人所使用、,它应该是全人类共享的。

  提问:上午的演讲中两位提到,这一代AlphaGo只需要一个TPU进行运算,而上一代和李世石对战时的AlphaGo则部署了50个TPU;但这代系统所需的计算量只是上一代的十分之一。为什么会出现这种比例上的差距?

  席尔瓦:我来澄清一下。今年升级版的AlphaGo是在单机上运行的,它的物理服务器上部署了4个TPU。

  提问:为什么AlphaGo下棋是匀速的?

  席尔瓦:我们在对AlphaGo训练时就已经发现,它在对弈时进行的计算是持续的、稳定的,在总共的比赛过程中,它的计算量是恒定的。我们为AlphaGo制定了一种求稳的时间控制策略,也就是最大限度地利用自己的比赛时间,如果要将比赛时间的利用率最大化,匀速当然是最好的。

  

穆斯塔法等接受量子位等专访

  提问:围棋相对简单,AI在现实中应用,有哪些阻碍?

  穆斯塔法:我们对此有过深入思考,DeepMind创立的使命中指出,我们要打造通用型的人工智能技术,并接受相应的监督监管。此前我们和众多的机构共同成立AI联盟,以遵循伦理和安全的方式,进行算法的开发。

  提问:技术落地过程中,如何避免侵犯隐私?

  穆斯塔法:新技术的部署应用过程中,确实出现了跟监督监管机制不匹配的情况,现在科技的力量已经非常强大,在这种情况下,技术快速发展。所谓的数字化技术或设备进行平衡,是我们不断推进的事情。

  我们希望加强医生患者对技术的信任,第一是展示临床使用的效果,第二我们一开始就公开表示,系统处理的数据,完全在监管范围之内,不会应用到其他业务之中。

  提问:DeepMind目前是什么结构?

  穆斯塔法:DeepMind分为两个结构,哈萨比斯负责研发,我负责商业应用。应用又分成三个组:1、Google组 2、医疗组,和英国NHS合作 3、马上要成立的能源组。我们希望与专家合作,获取必要的数据。

  我们和Google不同部门合作,有不同的形式。

  提问:为什么先把AI应用在医疗领域?而不是金融等

  穆斯塔法:商业利润不是我们最重要的驱动力。我们选择行业从两点出发:首先,是否有助于技术研究;其次,是否有助于完成社会使命。

  医疗行业季度的低效,技术停滞不前已经很久。

  提问:一手研发,一手商业化,有没有隐藏的技术细节?

  穆斯塔法:我们尽量多在开源的时候,提供有助于别人的资料。当然,我们不是100%都公布技术细节。当然我们会尽量多的做开源。

  提问:驱动AI应用的数据是否足够,以及是所需要的数据?

  穆斯塔法:我们做过一个统计。世界上,最优秀的放射科专家,一生也就看三万张X光照片,我们的算法可以看几百万张,能够开发出疑难杂症的意识和本能。我们能够对算法增强准确率,表现非常稳定。

  人类专家看X光片,可能只有三分之二的共识达成。所以我们的想法是,用算法做X光片,然后配上不同的疾病专家,这样效果更好。

新AlphaGo首度揭秘:单机运行,4个TPU,算法更强

新AlphaGo首度揭秘:单机运行,4个TPU,算法更强 量     到底是谁击败了柯洁?   答案似乎显而易见。但量子位之所以问这个问题,是因为如今击败柯洁的Alpha...
  • starzhou
  • starzhou
  • 2017年05月24日 22:42
  • 1006

中科院自动化所介绍深度强化学习进展:从AlphaGo到AlphaGo Zero

来源:德先生概要:2016年初,AlphaGo战胜李世石成为人工智能的里程碑事件。其核心技术深度强化学习受到人们的广泛关注和研究,取得了丰硕的理论和应用成果。深度强化学习进展:  从AlphaGo到A...
  • cf2SudS8x8F0v
  • cf2SudS8x8F0v
  • 2018年01月31日 00:00
  • 92

AlphaGo算法框架解读

AlphaGo算法框架解读 Author: L. Chen, UoS 1. Introduction:  如图1,在围棋中,每一步棋,从State K到State K+1都有很多种走法(...
  • L_Chen_Soton
  • L_Chen_Soton
  • 2016年06月07日 22:17
  • 3525

AlphaGo算法最清晰的解读

中国IDC圈6月3日报道,DeepMind团队(google旗下)的 AlphaGo (一个围棋的AI)以4:1战胜顶尖人类职业棋手李世石。她到底是怎么下棋的? AlphaGo在面对当前棋局时,...
  • caozl218
  • caozl218
  • 2017年05月31日 21:20
  • 438

TPU架构描述以及性能对比

  • 2017年08月14日 14:36
  • 1.31MB
  • 下载

AlphaGo背后的秘密!解读谷歌全面开放的云TPU | 重磅

▼点击上方蓝字 关注网易智能聚焦AI,读懂下一个大时代!【网易智能讯 2月14日消息】谷歌的机器学习处理器TPU(Tensor Processing Unit)现已开放公测版,谷歌云的用户可利用这一特...
  • McIl9G4065Q
  • McIl9G4065Q
  • 2018年02月14日 00:00
  • 21

深度解读 AlphaGo 算法原理

深度解读AlphaGo
  • songrotek
  • songrotek
  • 2016年04月05日 22:07
  • 55282

一文读懂AlphaGo Zero算法

CMU计算机学院暨机器人研究所博士邓侃在本文中,尝试用大白话,通俗地解释 AlphaGo Zero,弄清楚蒙特卡洛树搜索(Monte Carlo Tree Search,MCTS)、深度学习启发函数和...
  • zchang81
  • zchang81
  • 2017年10月26日 09:23
  • 4299

谷歌云TPU服务正式全面开放:「AlphaGo背后的芯片」进入商用化

来源:机器之心概要:作为科技巨头的谷歌早已把这种高度定制化产品应用在了自己的服务器中,而本周一,谷歌宣布其他公司马上也将可以享受新型芯片带来的计算服务了。2016 年 5 月,谷歌向世人发布了一款特别...
  • cf2SudS8x8F0v
  • cf2SudS8x8F0v
  • 2018年02月13日 00:00
  • 10

AlphaGo 到人类的未来

前几天AlphaGo 和柯洁的比赛落幕,不出绝大多数人所料,AlphaGo 赢了。 人工智能又上了热度榜,今天和一位不搞技术的公司高层闲聊的时候, 他问我怎么看待人工智能, 人工智能发展的这么快, 到...
  • liu_jie_1
  • liu_jie_1
  • 2017年06月01日 22:25
  • 128
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:新AlphaGo首度揭秘:单机运行,4个TPU,算法更强
举报原因:
原因补充:

(最多只允许输入30个字)