分布式计算和并行计算的异同

转载：http://www.equn.com/forum/thread-4876-1-1.html

解决对象上：都是大任务化为小任务，这是他们共同之处。

但是分布式的任务包互相之间有独立性，上一个任务包的结果未返回或者是结果处理错误，对下一个任务包的处理几乎没有什么影响。因此，分布式的实时性要求不高，而且允许存在计算错误（因为每个计算任务给好几个参与者计算，上传结果到服务器后要比较结果，然后对结果差异大的进行验证，我个人感觉这样有助于发现科学家们真正想要找的）！

分布式要处理的问题一般是基于“寻找”模式的。所谓的“寻找”，就相当于穷举法！为了尝试到每一个可能存在的结果，一般从0～某一数值被一个一个的测试，直到我们找到所要求的结果。事实上，为了易于一次性探测到正确的结果，我们假设结果是以某个特殊形式开始的。在这种类型的搜索里，我们也许幸运的一开始就找到答案；也许不够走运以至于到最后才找到答案，这都很公平。

这么说，并行程序并行处理的任务包之间有很大的联系，而且并行计算的每一个任务块都是必要的，没有浪费的分割的，就是每个任务包都要处理，而且计算结果相互影响，就要求每个的计算结果要绝对正确，而且在时间上要尽量做到同步，而分布式的很多任务块可以根本就不处理，有大量的无用数据块，所以说分布式计算的速度尽管很快，但是真正的“效率”是低之再低的，可能一直在寻找，但是永远都找不到，也可能一开始就找到了；而并行处理不同，它的任务包个数相对有限，在一个有限的时间应该是可能完成的。

分布式计算提出了一个让工作站端能够在后台持许工作的方法，而用户完全不需关心任何东西。这种实现基于两个原则，其一是任务连续分配和空闲优先权，其二是写一个屏幕保护程序。现在的调度程序已经不错了，而空闲优先任务将在人们完全不用关心任何东西的情况下自动执行。利用屏幕保护程序可以利用计算机闲置的时间计算工作任务。

分布式的编写一般用的是C++（也有用JAVA的，但是都是娱乐性质的项目了，不是主流），基本不用MPI接口。并行计算用MPI或者OpenMP。如果把网格计算算做分布式计算（网格计算是分布式计算的一种特例，但是有区别，区别仅仅在编程方法和实际应用的范围上），网格计算使用中间件！而且对联网的各台计算机的操作系统的要求比较特殊。

转载：http://blog.sina.com.cn/s/blog_62e6d9c20100jgb4.html

1. 什么是并行计算

并行计算（Parallel Computing）是指在并行计算机上，将一个应用分解成多个子任务，分配给不同的处理器，各个处理器之间相互协同，并行地执行子任务，从而达到加快求解速度，或者提高求解应用问题规模的目的。

 

2. 并行计算必须具备的3个基本条件

（1）并行计算机。并行计算机至少包含两台或两台以上处理机，这此处理机通过互联网络相互连接，相互通信。

（2）应用问题必须具有并行度。也就是说，应用可以分解为多个子任务，这些子任务可以并行地执行。将一个应用分解为多个子任务的过程，称为并行算法的设计。

（3）并行编程。在并行计算机提供的并行编程环境上，具体实现并行算法，编制并行程序并运行该程序，从而达到并行求解应用问题的目的。

 

3. 并行计算与分布计算的区别

并行计算不同于分布式计算（Distributed Computing）。后者主要是指，通过网络相互连接的两个以上的处理机相互协调、各自执行相互依赖的不同应用，从而达到协调资源访问，提高资源使用效率的目的。但是，它无法达到并行计算所倡导的加快求解同一个应用的速度，或者提高求解同一个应用的问题规模的目的。对于一些复杂应用系统，分布式计算与并行计算通常相互配合，既要通过分布式计算协调不同应用之间的关系，又要通过并行计算提高求解单个应用的能力。

下面给出并行计算和分布式计算的几个例子，以示区别。

例1 （并行计算）N个数被分布存储在P台处理器，P台处理器并行执行N个数的累加和。首先，各个处理器累加它们各自拥有的局部数据，得到累加和；然后，P台处理器执行全局通信操作，累加所有部分和，得到全局累加和。

例2 （分布式计算）观众点播、远程驾驭式可视化、电视会议等。