spark集群运行模式

spark的集中运行模式

Local 、Standalone、Yarn

关闭防火墙:systemctl stop firewalld.service

重启网络服务:systemctl restart network.service

设置静态IP

设置/etc/hosts

192.168.232.133    cent-1
192.168.232.134    cent-2
192.168.232.135    cent-3

配置免密登录在往期的Hadoop配置中已有说明。

一、进入conf配置文件

配置Master

cp slaves.template slaves

vim slaves

cent-2

cent-3

修改spark-env.sh

cp spark-env.sh.template spark-env.sh
vi spark-env.sh

 

export JAVA_HOME=/usr/local/java/jdk1.8.0_181
export SCALA_HOME=/opt/apps/scala-2.11.8
export HADOOP_HOME=/opt/apps/hadoop-2.7.2

export HADOOP_CONF_DIR=/opt/apps/hadoop-2.7.2/etc/hadoop
export SPARK_CONF_DIR=/opt/apps/spark-2.3.1/conf
export SPARK_EXECUTOR_MEMORY=2g
export SPARK_DRIVER_MEMORY=2g

export SPARK_MASTER_HOST=hdc-data1
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=1
export SPARK_WORKER_MEMORY=2g
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hdc-data1:2181,hdc-data2:2181,hdc-data3:2181 -Dspark.deploy.zookeeper.dir=/spark"

export SPARK_CLASSPATH=/opt/apps/hbase-1.1.1/lib/*
export SPARK_DIST_CLASSPATH=$(/opt/apps/hadoop-2.7.2/bin/hadoop classpath):$(/opt/apps/hbase-1.1.1/bin/hbase classpath)

将主节点配置好的文件,同步到其他从节点

启动集群

cd 到sbin目录下

,/start-all.sh

访问web页面,cent-1:8080

转载于:https://www.cnblogs.com/jake-jin/p/11435641.html

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值