Spark集群环境的搭建

一：Hadoop集群环境的搭建

hadoop集群环境的安装请参考我之前的博客：

博客地址：https://blog.csdn.net/qq_37469055/article/details/84405238

二：scala环境的搭建

tar -zxvf scala-2.11.4.tgz

修改/etc/profile文件

export SCALA_HOME=/usr/local/hadoop/scala-2.11.4
exportPATH=$PATH:$SCALA_HOME/bin

重新加载配置文件

source /etc/profile

然后在其他虚拟机上面按照上面的步骤安装scala

三：spark环境的搭建

tar -zxvf spark-1.3.0-bin-hadoop2.4.tgz

进入到conf文件夹中

cd spark-1.3.0-bin-hadoop2.4/

cd conf

cd spark-1.3.0-bin-hadoop2.4/

cd conf

cp slaves.template slaves

cp spark-env.sh-template spark-env.sh

修改spark-env.sh文件

vim spark-env.sh

export JAVA_HOME=/usr/local/java/jdk1.8.0_191

export SCALA_HOME=/usr/local/hadoop/scala-2.11.4

export SPARK_MASTER_IP=192.168.10.138   

export SPARK_LOCAL_IP=192.168.10.138

export SPARK_WORKER_MEMORY=1g

export HADOOP_CONF_DIR=/usr/local/hadoop/hadoop-2.7.3/etc/hadoop

SPARK_MASTER_IP  master主机地址，每个集群的ip都是master的ip地址

SPARK_LOCAL_IP  这台机器的ip地址

HADOOP_CONF_DIR  hadoop的配置文件

修改vim slaves

配置各台机器的ip地址

192.168.10.138

192.168.10.139

192.168.10.146

将 spark-1.3.0-bin-hadoop2.4复制到slaves1和slaves2虚拟机上面

scp spark-1.3.0-bin-hadoop2.4  -r  slaves1:/usr/local/hadoop

scp spark-1.3.0-bin-hadoop2.4  -r  slaves2:/usr/local/hadoop

启动hadoop集群

./start-all.sh start

启动spark集群

./start-all.sh

查看进程：jps

页面访问hadoop集群：

页面访问spark集群：