第五章 并行计算与集群技术

5.1并行计算概述
在计算机术语中，并行性是指：把一个复杂问题,分解成多个能同时处理的子问题的能力。要实现并行计算，首先我们要有物理上能够实现并行计算的硬件设备，比如多核CPU，每个核能同时实现算术或逻辑运算。
通常，我们通过GPU实现两类并行计算：
任务并行：把一个问题分解为能够同时执行的多个任务。
数据并行：同一个任务内，它的各个部分同时执行。
并行计算的层次：并行粒度是两次并行或交互操作之间所执行的计算负载。也就是任务级，即任务量的大小。
5.2 云计算基础架构——集群技术79
显示层(直接于用户交互)
中间层：
这层是承上启下的，它在下面的基础设施层所提供资源的基础上提供了多种服务，比如缓存服务和REST服务等，而且这些服务即可用于支撑显示层，也可以直接让用户调用，并主要有五种技术：
REST：通过REST技术，能够非常方便和优雅地将中间件层所支撑的部分服务提供给调用者。
多租户：就是能让一个单独的应用实例可以为多个组织服务，而且保持良好的隔离性和安全性，并且通过这种技术，能有效地降低应用的购置和维护成本。
并行处理：为了处理海量的数据，需要利用庞大的X86集群进行规模巨大的并行处理，Google的MapReduce是这方面的代表之作。
应用服务器：在原有的应用服务器的基础上为云计算做了一定程度的优化，比如用于Google App Engine的Jetty应用服务器。
分布式缓存：通过分布式缓存技术，不仅能有效地降低对后台服务器的压力，而且还能加快相应的反应速度。
基础设施层
这层作用是为给上面的中间件层或者用