Spark集群搭建

1.1下载spark安装包

下载地址spark官网:http://spark.apache.org/downloads.html

这里我们使用spark-2.0.2-bin-hadoop2.7版本.3.2规划安装目录

/opt/bigdata

1.3解压安装包

tar-zxvf spark-2.0.2-bin-hadoop2.7.tgz

1.4重命名目录

mv spark-2.0.2-bin-hadoop2.7 spark

1.5修改配置文件

/opt/bigdata/spark/conf
配置文件目录在/opt/bigdata/spark/conf

vi spark-env.sh修改文件(先把spark-env.sh.template重命名

为spark-env.sh)

mv spark-env.sh.template spark-env.sh

#配置java环境变量

export JAVA_HOME=/opt/bigdata/jdk1.7.0_67

#指定spark老大Master的IP

export SPARK_MASTER_HOST=hdp-node-01

#指定spark老大Master的端口

export SPARK_MASTER_PORT=7077

vi slaves修改文件(先把slaves.template重命名为slaves) mv slaves.template slaves

hdp-node-02

hdp-node-03

1.6拷贝配置到其他主机

通过scp命令将spark的安装目录拷贝到其他机器上

scp-r/opt/bigdata/spark hdp-node-02:/opt/bigdata

scp-r/opt/bigdata/spark hdp-node-03:/opt/bigdata

1.7配置spark环境变量

将spark添加到环境变量,添加以下内容到/etc/profile

export SPARK_HOME=/opt/bigdata/spark

export PATH=$PATH:$SPARK_HOME/bin

注意最后source /etc/profile刷新配置

1.7启动spark

#在主节点上启动spark

/opt/bigdata/spark/sbin/start-all.sh

1.8停止spark

#在主节点上停止spark集群

/opt/bigdata/spark/sbin/stop-all.sh

1.9 spark的web界面

正常启动spark集群后,可以通过访问http://hdp-node-01:8080,查看spark的web界面,

查看相关信息。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值