我的大数据之旅-Spark集群环境搭建

 

 

一、环境装备

两台或者两台以上安装了jdk1.8的虚拟机

我准备了三台：hadoop129/hadoop130/hadoop131

规划：

       Master机：hadoop129

       Slaves机：hadoop130/hadoop131

二、下载Spark安装包：

Spark官网下载地址

三、解压缩

[fengling@hadoop129 software]$ tar -zxf spark-2.4.4-bin-hadoop2.7.tgz -C /opt/module/

四、配置

• 切换到conf目录

/opt/module/spark-2.4.4-bin-hadoop2.7/conf，从template文件拷贝一份作为配置文件。

[fengling@hadoop129 conf]$ cp slaves.template slaves
[fengling@hadoop129 conf]$ cp spark-env.sh.template spark-env.sh

修改配置文件 

[fengling@hadoop129 conf]$ vi slaves

编辑spark-env.sh文件

[fengling@hadoop129 conf]$ vim spark-env.sh

新增配置：

SPARK_MASTER_HOST=hadoop129
SPARK_MASTER_PORT=7077

五、拷贝到其他服务器

[fengling@hadoop129 module]$ scp -r spark-2.4.4-bin-hadoop2.7/ hadoop130:/opt/module/
[fengling@hadoop129 module]$ scp -r spark-2.4.4-bin-hadoop2.7/ hadoop131:/opt/module/

六、启动

[fengling@hadoop129 spark-2.4.4-bin-hadoop2.7]$ sbin/start-all.sh

注意：

•  如果提示 JAVA_HOME is not set， 则配置一下spark_home/sbin/spark_config.sh，加上export JAVA_HOME = 你的jdk目录即可
• 各虚拟机注意关闭防火墙或者开启相应的端口，否则salves机会连接不上mater机

检查是否已经启动

Master机：

[fengling@hadoop129 spark-2.4.4-bin-hadoop2.7]$ jps
51261 Master
51437 Jps

Slaves机：

[fengling@hadoop131 .ssh]$ jps
16321 Worker
16422 Jps

web访问，一台master机 、两台slave机