【智能时代的系统和深度学习限制】

智能时代，系统为先

周礼栋博士首先告诉我们：人工智能如果没有系统的话，就只是一个海市蜃楼——看上去很美，但一点都不真实。 他认为，系统就是把复杂的东西变得有序易用。

而在计算机领域，系统的重要性是不言而喻的， 在整个计算机发展的过程当中，我们感受到的每一次大的突破，背后实际上都有很多计算机系统的理论和设计作为推动力。

周博士为我们分析了每一个时代下，系统的重要性：

 互联网时代，有很多非常新的系统出现在我们的生活中，其中最有代表性的一个系统就是搜索引擎。大家很多人都用搜索引擎搜索网上的信息，而搜索引擎背后就有很多系统领域的技术、理论。其中一个典型的系统理论就是分布式系统理论。
 在大数据或者说大家都熟知的云计算时代，云计算的系统就是非常典型的系统。现在我们看到很多公司都在提供云计算的服务。这里就用到了一些新的计算机系统的技术，其中有虚拟机技术、容错技术等，因为这些技术才使得这样的服务和系统成为了可能。
 如今的人工智能时代，我们看到越来越多深度学习在计算机视觉、语音识别、自然语言等领域都取得了突破，这就对系统产生了更大的需求。我们研究开发了很多大规模深度学习的平台，这其中也依托了最近在系统方面的进展和研究成果，包括怎么利用异构的硬件高效地执行这些深度学习的任务，也包括怎么进行高性能的并行计算。这些使得深度学习，特别是非常有深度的模型的处理成为可能。

周博士说：“我们还可以设想，未来量子计算将成为主流的技术。但是我们也可以看到，现在在系统方面的发展还没有到能够让它付诸实用的阶段。虽然理论上很成熟了，但若要变成现实，还需要在系统方面进行很多创新、研究、实践，才能促成这一步大的变革。”

深度学习的瓶颈

在演讲中，周博士提到了深度学习目前已经取得进一步的发展，但还是会遇到一些瓶颈，而且很多瓶颈还是产生在系统方面。他说：“现在，即便我们有很多不同的硬件加速，有很多不同的模型，我们能怎么解决把这个模型非常高效地映射到相应的硬件上，并且有不同定制的优化呢？整个深度学习领域里面的工作目前其实都是人工去做的，而不是用系统化的方法去完成的。” 此外，进行深度学习模型训练的时候，开发者们一般使用 GPU 来进行加速，当训练样本只有百万级别的时候，单卡 GPU 通常就能满足我们的需求，但是当训练样本量达到上千万、上亿级别之后，单卡训练的耗时会很长，所以这个时候通常需要采用多机多卡进行加速。在这种情况或者一些更复杂的情况下，我们就需要很多系统方面的设计和考虑。
人工智能的实践者不用再担心是不是需要自己架一个 GPU 集群才可以做人工智能的事情。因为这是系统应该完成的事情，周博士说：“我们应该把这些事情都做了，那么人工智能方面的研究者就能被解放出来专注研究人工智能的问题了。”

人工智能领域的门槛非常高，所以人工智能从业者的身价也非常高。

这也是因为系统层面的很多工作还不够深入。周博士表示，他们推进自己的工作，就希望能够把这个门槛降低，真正做到“人工智能普及化”。这将是非常可行、且必行的下一步工作。

据介绍，微软亚洲研究院系统领域的研究成果在现实的商业场景中已经有了广泛的应用，并产生了实际的商业效能，例如：
 GraM 分布式并行图处理引擎，能够在内存里面通过集群处理具有超过 10 亿条边的图；
 Apollo 大数据任务调度系统，可以直接部署在 10 万台机器上，每天能够调度几百万条的任务，用来支持搜索引擎、广告等部门的日常业务；
 StreamScope 分布式流数据处理平台，能够实时处理数十亿的广告信息；
 KV-Direct Key/Value 系统，可处理每秒 12 亿次以上的操作，相比同类最前沿的研究系统有至少一个数量级的提升。虽然这个系统还没有得到部署，但它是微软目前研究的最前沿的一个代表，发表在计算机系统的顶级会议 SOSP 2017。这些只是冰山一角，据说微软在智能系统方面的探索远不止于此，智能时代的微软似乎拥有着更多的可能性。

最后，周博士表达了他个人对智能系统发展趋势的一些看法： 首先，现在很多深度学习的框架，将来都将互通统一。其实数据库就是一个很好的例子——很久以前有各种各样的数据库，但最后大家发明了所谓的以 Relational algebra（关系代数）为基础的数据库，让所有数据库模型都成为一种统一的模型。

在人工智能方面，这种互通的统一性，从系统角度来说也是肯定会发生的一件事情。 其次，系统的能力会越来越强，会有无界的资源。整个世界就是一台计算机，所以我们最后希望能够达到的目标就是，在资源无界的环境里，你所使用的资源，无论是来自于计算中心还是来自于自己的计算机，甚至是来自于一个不知道是什么的地方，都会被系统很好地隐藏起来。你只要把事情做好，而不用关心资源是从哪里来的。

最后，也是需要再强调的一点，在系统研究里最关键的创新在于要提出一种更简约的抽象，并且用全新的工具和平台来支持这个抽象，从而让大家各方面的工作效率得到提升。