从弹性计算到数据处理——亚马逊云科技re:Invent

在2022亚马逊云科技re:Invent大会上，亚马逊云科技首席执行官Adam Selipsky说：“在今后的五年，我们创建了这些数据，可能会完全超过了数码时代一直到现在以来所有数据累加在一起的数量，这样同时也会告诉我们所有的组织都会面临着无限的机会。”

 

因为规模和分布式带来计算环境的变化，是驱动云计算重构基础设施的一个重要因素，而计算环境带来客户需求的变化，则又构成了驱动云计算技术继续演化的另一条主线，那就是数据。

云计算最初的刚需是弹性计算和存储，所以最初的用户更多来自零售和互联网等业务波动较大的行业，主要解决的是峰值期间算力不足的问题。但很快，大家发现数据在云上不但方便存储，而且更加方便分析和处理。于是数据湖的概念迅速流行起来，这个术语由Pentaho公司的创始人兼首席技术官詹姆斯·狄克逊（James Dixon）提出，他对数据湖的解释是：把你以前在磁带上拥有的东西导入到数据湖，然后开始探索。

数据湖也是个云计算时代的概念，与它对应的是传统IT时代的数据仓库、数据集市等概念。有趣的是，在数据仓库、数据集市等概念下，数据给人的印象是固体的货物，而在数据湖的概念里，数据变成了可以流动的液体。这其实也是云计算和传统IT观念最大的分野之一。

人类的大脑，最擅长处理三维空间和不超过7个变量，这样的思考能力显然无法应付云上指数增长的数据。亚马逊云科技数据与机器学习副总裁Swami Sivasubramanian在