[译 ] 云计算Cloud Computing 12章 大数据、数据流、和移动云计算 -序

序

处理器，存储，软件和网络技术的进步使我们能够存储和处理海量数据，将这项技术用于人类科学，利益，娱乐，恶意方案，或一些我们可以做的事。 人们可以谈论“数据的民主化”，因为科学家和决策者，记者和医疗保健提供者，艺术家和工程师，新手和领域专家都试图从数据中提取知识。

本章介绍了三个最令人兴奋和要求最高的云应用方向：大数据，数据流和移动云计算。 大数据是现实可查的，我们每天生成2.5×1018字节的数据。1 这些庞大的数据量每天都收集设备信息。收集的设备从手机中的廉价传感器到大型强子对撞机的探测器，然后通过Google和亚马逊提供的在线服务，或物联网连接的设备上传信息。

为本章讨论的应用程序定义更全面的扩展概念是有意义的。 在这种情况下，“规模”意味着数百万台服务器在大型数据中心中协同工作，大量不同的应用程序，数千万用户以及一系列性能指标一方面反映了用户的观点和用户的观点，另一方面反映了CPS（信息物理系统）的观点。 该规模具有破坏性影响，它改变了我们设计和建造此类系统的方式，并加大了问题难度，所以我们只能在云计算上运行程序来解决这类问题。
海量的规模放大了意想不到的好处，同时也给系统设计人员带来了巨大的噩梦。即使是对单个服务器性能或者资源管理算法的轻微改进，也可能导致巨大的成本节约和好评。与此同时，数以百计的硬件和软件组件中的一个故障可能被放大，能够传播到整个系统中，产生灾难性的后果，最终导致系统瘫痪。

在大数据存储和处理的大型系统工程中，有几个重要的经验教训是：（a）为低概率事件的发生和可能导致的重大中断意外事件做好准备；（b）认为在大数据环境下可以按比例提供严格的性能保证是完全不合理的；（c）建立超过一定系统复杂性水平的无故障系统是难以实现的；在这种情况下产生了下一个最好的解决方案，开发容错系统的设计原理。

对于本章中讨论的应用程序，一个现实的替代方案是为了性能指标（如响应时间延迟）的分布式开发容错技术。这意味着能够理解为什么性能量度有一个重尾分布。尽早发现导致这种不良状态的事件，并采取必要的行动来限制其影响。大规模信息检索系统的另一个设计原则是，近似但快速的响应优于迟缓的最佳结果。

第12.1节分析了大数据定义的属性。下一节讨论了大数据是如果存储和处理的。大容量的数据存储和数据库对于存储大量的数据是有必要的。扩展数据仓库和数据库也带来了挑战。在第12.2节中讨论了Google开发的Mesa数据存储、Spanner和F1数据库。
许多云应用处理着大数据;数据分析是这类应用的一个重要类别。引导技术为响应大型数据集的查询提供了一种低延迟的替代方法。这些技术和近似查询将在12.3和12.4节中进行分析。最后，在第12.5节中讨论了另一类将数字建模与仿真和测量相结合的大数据应用，即动态的数据驱动应用。[ See the April 2015 report at http://www.vcloudnews.com/every-day-big-data-statistics-2-5-quintillion-bytes-of-data-created-daily/]

云计算承载着许多类型的数据流应用。从内容分发数据流到消费连续事件流的应用。这些应用将会在12.6，12.8，12.7中讨论。

大规模集群改变了云计算领域的一切。大规模集群使得添加任务关键型应用成为可能，这些应用要求云具备很高的可用性。这将在第12.9节中进行讨论。大规模集群放大了可变性，经常导致包括延迟在内的关键性指标成了厚尾分布，这些会在第12.10节中讨论。

智能手机、平板电脑、笔记本电脑、可穿戴设备等移动设备在现代社会中无处不在，不可或缺。移动设备的一大优点是它们与云计算的共生关系。移动云用户得益于数据处理的民主化。拥有移动设备的个人可以访问计算机云上可用的大量计算周期和存储。

移动云计算定位于云计算、无线网络和移动设备的交叉点。移动设备是云数据的生产者和消费者。嵌入移动设备的传感器生成存储在云上并与他人共享的数据；运行在移动设备上的应用程序使用云数据，并且可以触发云计算的执行。

第12.11节介绍移动计算及其应用，第12.12节介绍移动计算的能源效率。第12.13节分析了延迟的影响，并提出了包括Cloudlets在内的其他移动计算模型。同样的主题在12.14节中继续讨论移动边缘云和马尔可夫决策过程。