Spark开发环境的搭建

(1)在/opt目录下建立 software,module两个文件,software用来下载安装包,下载或的安装包可以解压到module文件。小编下载spark的版本是:spark-2.3.2-bin-hadoop2.7.tgz。所以下载spark版本到software文件后,解压到module文件中,可以用这行代码执行:

tar -zxvf /opt/module/spark-2.3.2-bin-hadoop2.7.tgz -C /opt/module;

到 /opt/module 目录下查看是否已经解压:

(2)解压后对 spark-2.3.2-bin-hadoop2.7.tgz 修改成 spark(原本是spark-2.3.2-bin-hadoop2.7.tgz ,为了方便后面的使用,所以小编就修改了名称),修改文件名的格式为:

             mv 原文件名 新文件名

(3) 修改权限,给解压过来的spark安装包以hadoop权限,具体命令为:

                   chown -R hadoop:hadoop /opt

(4) 修改配置文件,进入spark/conf目录修改Spark的配置文件spark-env.sh,将spark-env.sh.template配置模板文件复制一份,并命名为spark-env.sh,具体命令如下:

cp spark-env.sh.template spark-env.sh

修改spark-env.sh文件,在文件中添加一下的内容:

export JAVA_HOME=/opt/module/jdk

export SPARK_MASTER_HOST=master

export SPARK_MASTER_POST=7077

(5)在spark/conf目录下复制slaves-template文件,并命名为slaves,具体命令如下:

cp slaves.template   slaves

(6)通过“vi  slaves”命令编辑slaves配置文件,主要指定Spark集群中的从节点IP,由于在hosts文件中已经配置了IP和主机名的映射关系,因此直接用主机名代替  IP即可。添加内容如下图:

 (7)分发文件,修改完成配置文件后,将spark目录分发至slave1和slave2节点,具体命令如下:

scp -r /opt/module/spark/  slave1:/opt/module

scp -r /opt/module/spark  slave2:/opt.module

 (8)启动Spark集群,直接使用spark/sbin/start-all.sh脚本即可,启动后使用JPS查看如图所示:

(9)从图中可以看出,当前主机master启动了Master进程,slave1和slave2启动了Worker进程,访问Spark管理页面查看集群状态(主节点),Spark集群管理界面如图所示;

 好了,啊彬把Hadoop中spark的集群配置就讲到这里啦,感谢家人们的支持!

 

  • 5
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一杯彬美式

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值