2016杭州云栖大会已经圆满闭幕。业内有很多精彩报道。特别转载,共享给大家。
本文转载自 雷锋网科技 作者:史中 原文链接。全文如下:
写在前面的话
在刚刚结束的2016杭州·云栖大会上,阿里云首席架构师唐洪以《飞天操作系统:中国科技的创新理论》为题进行了主题演讲。雷锋网科技记者史中会后对他进行了专访。
精彩全文
你知道向左是灯红酒绿,向右是沧海青山,却无法知道向哪里走会最终给你更好的未来。你知道应该单膝下跪向心爱的人求婚,却不知道今后的每一个日夜要如何相处,才能和她最终厮守一生。每一条岔路都通向更多的岔路,每一个选择都带来更多的选择。我们站在原地,凭着自己知道的“很多道理”,妄图“过好这一生”,恐怕会惹上帝发笑。
这就是我们每个人面对的困境,我们精密的大脑可以在简单的逻辑里做出最有利于自己的判断,但在无数叠加的抉择面前,却无力地像随风浪迹的沙尘。因为这世界上的选择和它们通向的答案,比宇宙的星辰还要多。我给你成千上万形状不一的小石块,让你填满身上的背包。请你告诉我,你如何才能知道哪些石块的组合才能让背包装得最满?唐洪,阿里云飞天系统的首席架构师,用这个看似轻描淡写问题描绘了阿里云的终极意义。
![a9809e03e529c6a315761b748c293c5ba3f9f43a](https://i-blog.csdnimg.cn/blog_migrate/e2893979770dca9ee32390d33764fcce.png)
阿里云首席架构师唐洪
理论上来说,穷举所有石块组合,就可以得到答案。但事实是,按照图灵机的计算模型,计算的复杂度和可供选择的石头数目成指数关系。每增加一个石块,计算量就翻一倍。仅仅为这一个答案,所需的计算能力就超出了人类所有计算机的总和。在哲学上,这恰如我们一次次的人生抉择:除非你尝试每一种可能,否则无法知道正确答案,而上帝不会给你尝试每一种可能的机会。这个事实让人敬畏上苍。然而,在唐洪眼中,“飞天”——阿里云的核心操作系统,正是为这些“终极答案”而来 。
![b3ab488e81bef8a93e74024031fe25aaf3647c5a](https://i-blog.csdnimg.cn/blog_migrate/b81490a5109a0f3959ed0f1a53b1ed9f.png)
1.找到那扇门
在那部经典的科幻电影《2001漫游太空》中,一个远古猿人把骨头奋力抛向蓝天,立刻幻化成穿梭在太空中的宇宙飞船。这一幕被誉为科幻电影的经典镜头,让无数人热泪盈眶。然而仔细想来,把一个宇宙飞船射向太空,原理不就等同于把一个硕大的骨头扔向更高的天空吗?
![44bc0715d5e5816fcb319630b11cbc504e8c1f5a](https://i-blog.csdnimg.cn/blog_migrate/530d2ad1e6885fa4a49ff20e7bbd384e.png)
一个原始人都会做的动作,当它的体量无限扩大以后,就变成了需要千万年后的高科技才能实现的壮举。飞天所做的工作,说到“原子”层面,就是排序、数数。拿淘宝举例,就是分析商品卖了几个,分别是什么时候卖的。而一旦这样的工作一旦变成大规模,各个数据之间都有关联,就很难在短时间内得出正确答案。把亿万卖家和买家的信息进行计算,得到的并不是简单的商品库存和销售情况。
通过数据分析,可以让用户用最快的速度搜索到自己想要的商品。通过数据关联,可以判断用户的性别爱好,从而根据场景做出精准的商品推荐。通过数据整合,可以判断出一个人是否有信用污点,从而在金融产品中决定给申请者的贷款额度,控制坏账率。这些我们在淘宝、天猫、蚂蚁金服中享受的功能,就是“大规模计算”得到的奇迹。“1+1”的小儿科,不经意间变成了我们敬畏的“大数据”。而把这些“大数据”继续进行调度,就能产生“上帝之手”的功效。
大规模的任务调度是非常复杂的,例如滴滴打车的出租车规划、机场的飞机调度,甚至是沃尔玛的库存管理,都不是靠人脑可以胜任的。因为每个场景都几乎有无限种可能和选择。唐洪说。至此,我们遇到了之前的“背包装石头”问题。大家熟知的非对称安全加密技术,今天热门的区块链技术,都是基于计算极限问题 (intractability)的假设。飞天当然也不可能突破计算极限。所以我们只能给出近似解,而不是理论上的最优解。
![667f20c35cf6511c76521e53a5488426cf249fdb](https://i-blog.csdnimg.cn/blog_migrate/decaf41d9d547b18522146fc7d7ad606.png)
最优解只有一个,而近似解有无穷多。怎样在浩如烟海的解中找到最合适的近似解,就是飞天的“刀锋”所在。“从飞天诞生开始,我们一直在做的就是这件事。”他说。由于不同行业的业务和数据有自己的特点,这就使得“飞天”计算集群可以把好钢用在刀刃上。利用模型和算法删除掉一些不可能的“子集”,这样就可以使得最终的求解范围在一定程度内缩小。
但即使这样,所需的运算仍然超越想象。这时就需要另一套规则和模型根据“价值判断”做出取舍。这就像你身处一个硕大的房间迷宫中,每个房间都有很多门,而打开一扇门之后,又会进入一个新的房间,这个新的房间同样有很多门。为了找到最终的出口,你需要先排除掉那些肯定不会通往出口的门,然后在这些可能的出口中,挑选可能性最大的那扇门。
![fb7fcfe6f35e603c388753d4838c0f1e330b60d7](https://i-blog.csdnimg.cn/blog_migrate/8df535d2af2857650062c36b3c98a9c4.png)
由于没有完美的正确答案,所以这些模型和判断的优化,永无止境。这在某种程度上类似于“进化”。然而,大规模计算所面临的问题,远远不止如上这一个,唐洪为雷锋网列举了另外一个重要的问题,那就是自动化的难度。超越人脑的极限的计算,必须用自动化的程序来完成。但是数据体量变大之后,平常看来边边角角的问题就成为一个严重的情况,那就是如何保证自动化的正常运作。计算错误、指令未传达、系统卡死等等小概率的事件,都会因为数据和计算集群的庞大而变得几乎成为必然。
这个时候,就需要对于计算的每一个微小的步骤实现感知和监控,发现错误。但是,对于云计算每个路径的各个步骤实现监控,绝非易事。对于计算的跟踪,需要对每一步进行“染色”,就是做一个标记以便系统进行关联。这就需要在处理过程中嵌入染色信息。但是系统运行的每一个步骤都各不相同,需要根据具体的情况来找到最好的嵌入点。更难办的是,有些步骤根本没有办法嵌入信息。这个时候,就要根据计算周边的信息来做推断。
例如某个进程打开了文件,操作系统中会用一个描述符来表示这个文件,通过对描述符的关联,就可以把在操作系统内核中发生的事件和用户进程关联起来了。所有的跟踪都是具体问题具体解决,可想而知付出的艰辛有多大。他说。
以上这些“坑”,都是唐洪和飞天用了七年时间,一点一点趟出来的。然而,所有的这些微小进化的累积,都是建立在飞天的“算力”基础之上的。唐洪说,飞天系统就像一个巨大的计算机,只不过是由全球各地的数据中心,几十万台服务器,通过专线联系,组成的超大计算集群。
看到这里,你可能会恍然大悟,调度全球的几十万台服务器,本身就是一个“背包装石头”的巨大挑战。唐洪给雷锋网讲述了飞天诞生的故事。彼时的阿里巴巴,某种程度上说站在了危险的悬崖边上,而还在婴儿期的飞天,做了一个美丽的梦,名叫“5K”。
2."5K"一尊雕像
王坚,永远带着一副笑容,身影高瘦看似弱不禁风。不过,就是这个人,顶住了所有的质疑和压力,成为众人心中守护阿里云从一颗嫩芽长成参天大树的英雄。包括唐洪在内的所有人,都把王坚称为“博士”。当年,正是博士的一通越洋电话,把唐洪从美国“忽悠”了回来。2012年的飞天还在研发的早期阶段,只能支持最大 1500 台机器的集群,也时常因为一些bug遭受客户的吐槽。当时,阿里巴巴的很多数据处理的任务,还是建立在开源软件 Hadoop 的系统之上的,这个集群大概有 3000-4000 台机器。
![8074ffdd649027eadbe36351e7ad7db5c2f5de5e](https://i-blog.csdnimg.cn/blog_migrate/4037faa265a4984e6da9e1ab6cfac66f.png)
阿里巴巴技术委员会主席王坚
但是,Hadoop 无论从安全性还是运行逻辑上,都不是为公共云计算设计的。Hadoop 的存储和计算是一体的,也就是说,如果你需要十台机器的存储,但不需要十台机器的计算能力,你仍然需要十台机器的集群,这是一种浪费。虽然可以通过其他方法解决这样的问题,但是运行效率会大大降低。Hadoop 的账号体系,不是面向互联网租户的账号体系,更多的是面对本地管理员。这就决定了它不能像如今的阿里云一样出售给互联网级别的用户。另外,Hadoop 高度的灵活性,允许应用层的用户直接访问底层的文件,这存在巨大的安全隐患,也不可能直接以多租户共享的形式跑在公有云上。
唐洪告诉雷锋网,以上的一切弊端,都很难通过修修补补的方式,在 Hadoop 上规避。而更关键的问题在于,阿里巴巴那时业务的增长速度,已经趋近 Hadoop 集群的计算能力极限。一旦达到瓶颈,就必须被迫降低业务水平,或者主动限制业务规模。在此之前,阿里巴巴曾经进行过尝试,用飞天来代替 Hadoop,但都以失败而告终。彼时的阿里巴巴 CTO 王坚对所有阿里的童鞋说,这个任务还是应该让飞天来承担,因为在他心里有一个计划,那就是把飞天做成 5000 台服务器的集群。
这个当时让很多同事取笑的疯狂想法,就是“5K”。从1500到5000,绝不仅仅是再买3500台机器这么简单。唐洪说:摩尔定律注定了计算机硬件性能随时间的指数增长 。从1500台老机器到5000台新机器,计算力增加了8倍到10倍。在短短不到半年时间内实现如此大跨度的软件能力的升级,对任何一个熟谙软件工程规律的人来说,都是不可能的挑战。
但是,飞天真的做到了。世界上买得起五千台服务器的公司不少,但是真得有自己研发的技术调度这么大规模集群的,一只手都数得过来。 为什么阿里云一定要建设 5000 台机器的集群呢?唐洪告诉雷锋网,对于阿里巴巴来说,很多计算任务是没有办法拆解的,必须在一个计算集群里完成。如此大量彼此联系的数据,就需要这么多机器处在一个集群中协同分析。
就在2012年底的总裁会上,还有人提出要重新依靠 Hadoop。但最终总裁们决定两条路一起走,既要 Hadoop 也要飞天。但是在我看来,这种决策让技术力量分流了。其实,当时我根据团队内部的模拟实验结果,心里很清楚达到 5K已经不是架构设计的问题,而是一个产品细节打磨的过程了 。
但其他部门的同事可能并不这么认为。这样两条路一起走就大大分流了技术力量,所以5K能够早一天做出来,就能早一天终结争论。他说。2013年8月15日,是唐洪脱口而出的日期。这一天,事实宣判了王坚、唐洪和飞天的判断是对的 。5K 集群上线,并且是同时上线了两个 5K集群。
在阿里巴巴云栖小镇里,树立着一尊 5K 的雕像。这尊雕像比想象中要小,却丝毫不能阻挡它向周围散发着理想的质感,很多路过的人都会驻足观看。
![6a3f84ff5ec6868e60f0c605d74dc5e4a07e9bd3](https://i-blog.csdnimg.cn/blog_migrate/39348044052d268bd538f533d47e8cc4.png)
坐落在阿里云栖小镇的飞天 5K 雕像
唐洪告诉雷锋网,后来的事实证明,Hadoop 集群在超越4000台机器集群之后,会遇到不可逾越的瓶颈。如果当时阿里巴巴选择依赖 Hadoop 系统,如此高的业务增长,将会遇到计算性能的“断崖”,后果难以设想。就像当年的波音的747飞机、Intel的x86芯片、SpaceX 的火箭一样,所有的伟大创造,都来自于孤注一掷。唐洪如此感慨。
3.“吃自己的狗粮”
我记得2012年或者2013年我们进行校招的时候,清华北大的学生来面试的非常少,而且很多同学即使拿到了我们的Offer,他们的第一选择也会是百度和腾讯。唐洪把这个悲伤的事实当作一个段子讲给雷锋网。
在今年的阿里星面试上,唐洪问同学问为什么选择来阿里云,得到的回答是“阿里云的云计算技术领先”。他简单地形容了一下现在的飞天:单集群万台,全球总共几十万台服务器,每天数据平台处理的数据超过 1PB。
不过他觉得,这些都不能说明飞天的强大,真正有说服力的,是阿里巴巴在“吃自己的狗粮”,也就是包括淘宝天猫在内的部分重要业务,包括瞬时并发计算量惊人的“双十一”,都由飞天来负责云计算调度。也就是说,阿里巴巴自己也在使用给其他客户提供的相同的云服务,没有任何特权和区别。我相信国内某些竞争者们自己的服务肯定没有跑在自家提供的云上。他说。
让阿里云引以为傲的一个数据是:在中国 37% 的网站都建立在阿里云之上。我们的预计是,未来全世界可能只有几台“计算机”,他们都是由超大规模计算集群组成的。这个时候,计算力就会被彻底地解放。如果唐洪的预想成真,那时有关“背包装石子”的计算,将会得出比现在更接近真相的解。也许我们永远找不到正确的答案,但是毋庸置疑,机器每每向正确答案逼近一小步,都是人的光荣。
4.向世界要一个答案
每年,阿里云都会在大本营杭州举行云栖大会,公布阿里云和飞天的最新进展。在今年的大会上,马云发表了热情洋溢的演讲。原来的机器制造将会变成人工智能,原来机器吃的是电,未来机器吃的是数据。马云如是说。
可见,机器学习和人工智能,正是飞天下一步棋。对于人来说,岔路后面的岔路,选择背后的选择,让我们感觉到渺小和恐惧。为了对抗命运的无常,我们发明了云计算,我们发明了人工智能。无论对于唐洪还是飞天来说,这些无数运转的芯片,无数网络中川流不息的电流,都只有一个目的:向世界要一个答案。
![c79eb7949ca47834d352b9462054839c342c3709](https://i-blog.csdnimg.cn/blog_migrate/5974ed00d6f7aa10c135a34bd2bfd7ff.png)
感谢 雷锋网科技 史中 对2016杭州云栖大会的精彩报道!