站在巨人的肩膀：一文玩转MPI/Spark/Hadoop集群搭建

1.软件准备

MPICH：MPICH官网
JDK:JDK官网
Hadoop官网：HADOOP官网
Spark官网：SPARK官网
Scala官网：SCALA官网
本文安装mpich-3.3.2,jdk-1.8.0-211,hadoop-2.7.3,spark-2.4.4,scala-11.12,
注意事项

1. Spark与Scala版本有对应关系，参考版本对应
2. 不要在root下安装
3. 安装位置选择/usr/local/目录
4. 设置环境变量：$ vi ~/.profile，并$ source ~/.profile
   

2.集群条件

注意事项

1. 集群用户名都设置为一样
2. 静态IP配置，将主机名与静态IP对应
3. 配置nfs
4. 配置/etc/hosts文件
5. 配置./ssh/authorized_keys免密登录

host配置

ssh与免密登录

配置SSH

3.MPI/HADOOP/SPARK集群搭建

MPI集群搭建
Hadoop&Spark集群搭建

4.SCP集群搭建

环境变量复制：scp ~/.profile cluster@nodex: ~/.profile
hosts配置复制：scp /etc/hosts 用户名@另一台主机: /etc/hosts
mpi复制：scp -r /usr/local/MPI 用户名@另一台主机名:/usr/local/MPI/
java复制：scp -r /usr/local/JAVA 用户名@另一台主机名:/usr/local/JAVA/
scala复制：scp -r /usr/local/SCALA 用户名@另一台主机名:/usr/local/SCALA/
hadoop复制：scp -r /usr/local/HADOOP 用户名@另一台主机名:/usr/local/HADOOP/
spark复制：scp -r /usr/local/SPARK 用户名@另一台主机名:/usr/local/SPARK/