Spark安装(高可用版)

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/weixin_35852328/article/details/79947382

前提:安装好了JDK

1.下载spark安装包并上传到服务器解压

http://www.apache.org/dyn/closer.lua/spark/spark-1.5.2/spark-1.5.2-bin-hadoop2.6.tgz

tar -zxvf spark-1.5.2-bin-hadoop2.6.tgz -C /usr/local/apps/platform/
#创建软链接
ln -s spark-1.5.2-bin-hadoop2.6 spark

2.配置Spark

进入到Spark安装目录的conf目录并重命名并修改spark-env.sh文件

cd /usr/local/apps/platform/spark/conf
vim spark-env.sh

在该配置文件中添加如下配置

export JAVA_HOME=/usr/java/jdk1.7.0_45
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hadoop1,hadoop2,hadoop3 -Dspark.deploy.zookeeper.dir=/spark"
export SPARK_MASTER_PORT=7077

修改slaves文件指定Worker

vim slaves

在该文件中添加子节点所在的位置(Worker节点)

hadoop2
hadoop3

将配置好的Spark拷贝到其他节点上并在其他节点创建软链接

scp -r spark-1.5.2-bin-hadoop2.6/ hadoop2:/usr/local/apps/platform/
scp -r spark-1.5.2-bin-hadoop2.6/ hadoop3:/usr/local/apps/platform/

3.启动spark集群

Spark集群配置完毕,在hadoop1上执行sbin/start-all.sh脚本,然后在hadoop2上执行sbin/start-master.sh启动第二个Master

启动后执行jps命令,hadoop1和hadoop2节点上有Master进程,其他子节点上有Work进行,登录Spark管理界面查看集群状态(主节点):http://hadoop1:8080/

这里写图片描述
这里写图片描述
连接HA Spark:

./spark-shell –master spark://hadoop1:7077,hadoop2:7077
阅读更多
想对作者说点什么?

博主推荐

换一批

没有更多推荐了,返回首页