云计算入门的一些小知识

1.云计算不同于分布式计算

在计算机科学中，分布式计算（英语：Distributed computing，又译为分散式计算）这个研究领域，主要研究分散系统（Distributed system）如何进行计算。分散系统是一组电子计算机（computer），通过计算机网络相互链接与通信后形成的系统。把需要进行大量计算的工程数据分区成小块，由多台计算机分别计算，在上传运算结果后，将结果统一合并得出数据结论的科学。

 分布式计算技术是一门计算机科学，它研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分分配给许多计算机进行处理，最后把这些计算结果综合起来得到最终的结果。

分布式计算是近年提出的一种新的计算方式。所谓分布式计算就是在两个或多个软件互相共享信息，这些软件既可以在同一台计算机上运行，也可以在通过网络连接起来的多台计算机上运行。分布式计算比起其它算法具有以下几个优点：

   1、稀有资源可以共享。

   2、通过分布式计算可以在多台计算机上平衡计算负载。

   3、可以把程序放在最适合运行它的计算机上。

   其中，共享稀有资源和平衡负载是计算机分布式计算的核心思想之一

   云计算所需的虚拟化技术必须是虚拟架构技术．这样一来，硬件资源的虚拟化就不必局限于单个独立的硬件资源了．在这样的虚拟架构上，一个应用软件对于硬件资源使用的请求(通常是对硬件发出中断,interrupt)可以不局限于同一个物理硬件资源．这样用虚拟架构技术整合出来的虚拟计算机才可以真正做到是为用户量身定制的．

云计算可以理解为分布式计算的工程化。

2.MapReduce编程

MapReduce编程是运用n多台计算机处理同一堆海量数据以此得到最终结果，概括地说，是常用的处理海量数据的编程模型。MapReduce编程从字面看来包括两个步骤，就是映射和规约。Map函数把大数据集进行分解操作得到两个或者更多的小“桶”。每台处理器对分割出来的每个桶进行操作，获取一组中间值，而Reduce函数是把这些中间结果通过一定的函数进行处理来获取最终的答案。总结一下，我认为Map是一个“分”的过程，它把海量数据分割成了若干小块以分给若干台处理器去处理，而Reduce是一个“合”的过程，它把各台处理器处理后的结果进行汇总操作以得到答案。

 MapReduce是一个编程模型，也是一个处理和生成超大数据集的算法模型的相关实现。用户首先创建一个Map函数处理一个基于key/value pair的数据集合，输出中间的基于key/value pair的数据集合；然后再创建一个Reduce函数用来合并所有的具有相同中间key值的中间value值。现实世界中有很多满足上述处理模型的例子，本论文将详细描述这个模型。

 这个工作(实现一个MapReduce框架模型)的主要贡献是通过简单的接口来实现自动的并行化和大规模的分布式计算，通过使用MapReduce模型接口实现在大量普通的PC机上高性能计算。