VMware(虚拟机)下得Linux 集群

VMware(虚拟机)下得Linux 集群 （转）

目录提纲

背景简介
集群定义
高性能集群的常见用途
集群的条件
构造一个简单的Linux集群实现
并行计算设计
实验遇到问题
实验心得


背景简介

随着摩而定律的慢慢失效，单CPU的集成电路 技术 和 工艺慢慢走到了技术的极限。然后，人们为了追求信息系统的高性能和高可靠性，集群技术随之产生和发展。（计算的速度变得更快？提高时钟频率，提高一个时钟 周期执行的指令条数，更快的存储器，不同级别的并行）一般而言，现在集群技术是针对应用层系统的，而且往往具有下列几方面的特性：

1) 高可用性2) 高可靠性3) 高伸缩性4) 高性能

由于开放源码软件概念的采用，以及集群技术的精炼，使得高性能计算（HPC）正在变得越来越简单。加上Linux的优越性能和其他相关免费的 资源 ，使得基于Linux 集群在很多领域变得非常流行。

实验主要完成Linux 集群技术的高性能计算（HPC）及相关测试，从基本的概念，并行，集群，到展示如何构建集群并编写并行程序。构建集群以及对集群进行基准测试，一步步入 手，是对一个完全陌生的知识的摸索过程。集群环境的构建通过MPI来做，在实验中也结合了主要是网络和其他的相关的资料。

在Linux 上 FORTRAN、C 和 C++ 使用的高质量的 MPI 实现可以免费获得，在这里我们使用构建一个基于 MPICH 的 Linux 集群。


集群定义

集群（一组协同工作的计算机）是充分利用计算资源的一个重要概念，
因为它能够将工作负载从一个超载的系统（或节点）迁移到集群中的另一个系统上。其处理能力是与专用计算机(小型机,大型机)可相比,但其性价比高于专用计算机.



集群的分类
故障迁移集群、负载均衡集群 、高性能集群

1）故障迁移集群

最简单的故障迁移集群有两个节点：一个节点是活动的，另外一个节点是备用的，不过它会一直对活动节点进行监视。一旦活动节点出现故障，备用节点就会接管它的工作，这样就能使得关键的系统能够持续工作。

2）负载均衡集群

负载均衡集群通常会在非常繁忙的 Web 站点上采用，它们有多个节点来承担相同站点的工作，每个获取 Web 页面的新请求都被动态路由到一个负载较低的节点上。

3) 高性能集群

高性能集群用来运行那些对时间敏感的并行程序，它们对于科学社区来说具有特殊的意义。高性能集群通常会运行一些模拟程序和其他对 CPU 非常敏感的程序，这些程序在普通的硬件上运行需要花费大量的时间。


高性能集群的常见用途

几乎所有的产业界都需要快速的处理能力。随着越来越便宜而且快速的计算机的出现，更多公司表现出了对利用这些技术优势的兴趣。人们对于计算处理能力的需求是没有上限的；尽管处理能力在迅速提高，但是人们的需求仍然超出计算能力所能提供的范围。

1)生命科学研究

蛋白质分子是非常复杂的链，实际上可以表示为无数个 3D 图形。对于蛋白质折叠的研究非常重要。

2)石油和天然气勘探

震动图中包含有大陆和洋底内部特性的详细信息，对这些数据进行分析可以帮助我们探测石油和其他资源。这种分析显然需要大量的计算能力。这个领域对于计算能力的需求是如此旺盛，以至于超级计算机大部分都是在处理这种工作。

3)图像呈现

在工程领域（例如航天引擎设计）操纵高分辨率的交互式图像在性能和可伸缩性方面历来都是一种挑战将渲染屏幕的任务分割到集群中的各个节点上，在每个节点上 都利用自己的图形硬件来呈现自己这部分屏幕的图像，并将这些像素信息传送到一个主节点上，主节点对这些信息进行组合，最终形成一个完整的图像。



GNU/Linux 操作系统（Linux）已经在集群中得到了大量的采用。Linux 可以在很多硬件上运行，并且具有高质量的编译器和其他软件，例如并行文件系统和 MPI 实现在 Linux 上都是免费的。采用 Linux，用户还可以针对自己的任务负载对内核进行定制。Linux 是构建 HPC 集群的一个非常好的平台。
集群的条件

有工作站和互联网两个部分组成。

至少有两个系统，这里用了windows下的虚拟机安装两个Linux来作为主从节点来实现。

工作站中间能实现通信，利用高速的局域网来构成一个并行的计算平台


构造一个简单的Linux集群实现

步骤 1

Linux环境的配置

对于我们的集群，要使用 MPICH 和一组普通的 Linux 工作站。我们学习更是了解突出其中的基本原理，我们将构建最小的裸系统，在集群环境中可以使用它来运行并行程序。同时实验是在基于windwos下的两个 VMware 映像来做的，可能算步上正真的集群。 VMware，因为 CPU 需要进行共享。在性能上不会有优势。首先安装windwos下的Linux虚拟机。

（*注意）同时安装时候注意相关的服务的开启，防火墙的设置，在vm下安装完Linux系统，配置好相关的参数环境。设置网络，至少能够使用机器名相互 ping 通。这些在下面要设置，最好系统安装前后完成。

步骤 2

安装 GNU C 编译器和 GNU FORTRAN 编译器。

当然这步应该最好在Linux初始安装时候完成，没有初始安装的，通过服务设置，也可以x－window 可视话或者命令来设置启用相关的服务。

步骤 3a

主机名：host1 host2

● 修改/etc/hosts文件，将所有节点名称及其ip地址填入。例如：

192.168.0.31 host1 #（主节点） ‘#’做注释

192.168.0.41 hos