linux并行集群的搭建

实验环境

OScentos 5.10 x86_64(一台admin,两台计算节点)

主机名和和IP对应关系如下

admin: 192.168.78.11

node1:192.168.78.12

node2:192.168.78.13


软件版本:PBS

torque-3.0.6.tar.gz

maui-3.3.1.tar.gz

openmpi-1.8.1.tar.bz2

并行软件:

apoa1.tar.gz

NAMD_2.9_Linux-x86_64-multicore.tar.gz

 

一:环境配置

1.修改hosts文件,添加内容如下

192.168.78.11  admin

192.168.78.12  node1

192.168.78.13  node2


2.设置无密码访问

ssh-keygen一直按enter键即可,进入.ssh目录生成认证密码,并设置权限

[root@admin ~]#cd.ssh/

[[email protected]]#ls

id_rsa id_rsa.pub

[[email protected]]#cp id_rsa.pub authorized_keys

[[email protected]]#chmod 600 authorized_keys

[[email protected]]#ll

total 12

-rw------- 1rootroot  394 Aug 23 03:52 authorized_keys

-rw------- 1rootroot 1675 Aug 23 03:50 id_rsa

-rw-r--r-- 1rootroot  394 Aug 23 03:50 id_rsa.pub


3.然后复制.ssh目录到所有计算节点

 [root@admin~]# for i in 1 2 ; do scp -r /root/.ssh node$i:/root/ ; done

第一次要输入两台计算节点的root密码,以后都是无密码访问了


4.复制hosts文件到所有计算节点

[root@admin ~]#for i in 1 2 ; do scp /etc/hosts node$i:/etc/ ; done


5.配置nfs服务

把管理节点上的/export作为共享目录

[root@admin~]#mkdir -p /export/{apps,home,scripts,source}                  //其中apps为软件共享目录,home为共享家目录

[root@admin ~]#cat /etc/exports

/export  192.168.78.0/255.255.255.0(rw,sync)


6.启动nfs服务并检查启动是否成功

[root@admin~]#chkconfig portmap on ; /etc/init.d/portmap start

Startingportmap:                                         [ OK  ]

[root@admin~]#chkconfig nfs on ; /etc/init.d/nfs start

[root@admin~]#showmount -e localhost

Export listforlocalhost:

/export 192.168.78.0/255.255.255.0

[root@admin ~]#


7.配置autofs

[root@admin ~]#cat /etc/auto.master

/home/etc/auto.home  --timeout=1200

/share/ec/auto.share   --timeout=1200

[root@admin ~]#cat /etc/auto.share

*                                             admin:/export/&

[root@admin ~]#cat /etc/auto.home

*              -nfsvers=3            admin:/export/home/&

[root@admin ~]#


8.启动autofs服务

[root@admin~]#chkconfig autofs on ; /etc/init.d/autofs start


9.复制auto.master auto.share auto.home到所有计算节点

[root@admin ~]#for i in 1 2; do scp /etc/auto.master node$i:/etc/; done

[root@admin ~]#for i in 1 2; do scp /etc/auto.share node$i:/etc/; done

[root@admin ~]#for i in 1 2; do scp /etc/auto.home node$i:/etc/; done


10.启动autofs服务

[root@admin ~]#for i in 1 2; do ssh node$i /etc/init.d/autofs start; done

[root@admin ~]#for i in 1 2; do ssh node$i chkcon

  • 0
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
要在三台 Linux 服务器上搭建 Flink 集群,可以按照以下步骤进行: 1. 准备环境:需要三台 Linux 服务器,每台服务器最好配置相同的硬件和软件环境。安装 Java 运行环境,并确保三台服务器之间可以互相通信。 2. 下载和解压 Flink:从 Flink 官网下载最新的 Flink 版本,并解压到一个目录,例如 /opt/flink。 3. 配置 Flink:修改 Flink 的配置文件 flink-conf.yaml,根据实际情况配置参数,包括 JobManager 和 TaskManager 的内存大小、并行度、网络端口等。需要修改以下参数: ```yaml jobmanager.rpc.address: <JobManager 的 IP 地址> taskmanager.numberOfTaskSlots: <每个 TaskManager 的任务槽数量> ``` 4. 启动 JobManager:在其中一台服务器上启动 JobManager。进入 Flink 的 bin 目录,执行命令 `./start-cluster.sh`,启动 JobManager。 5. 启动 TaskManager:在另外两台服务器上分别启动 TaskManager。进入 Flink 的 bin 目录,执行命令 `./taskmanager.sh start`,启动 TaskManager。 6. 提交任务:使用 Flink 提供的命令行工具 flink run 提交任务,例如 `flink run -c com.example.MyJob /path/to/my-job.jar`。 7. 监控和管理:可以使用 Flink 的 Web 接口或者命令行工具 flink list、flink cancel 等进行任务的监控和管理。 以上是一个简单的 Flink 集群搭建的步骤。在实际部署中需要考虑更多的因素,例如高可用性、容错性、安全性等。建议参考 Flink 官方文档进行更详细的配置和部署。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值