Spark安装(高可用版)

标签: spark
20人阅读 评论(0) 收藏 举报
分类:

前提:安装好了JDK

1.下载spark安装包并上传到服务器解压

http://www.apache.org/dyn/closer.lua/spark/spark-1.5.2/spark-1.5.2-bin-hadoop2.6.tgz

tar -zxvf spark-1.5.2-bin-hadoop2.6.tgz -C /usr/local/apps/platform/
#创建软链接
ln -s spark-1.5.2-bin-hadoop2.6 spark

2.配置Spark

进入到Spark安装目录的conf目录并重命名并修改spark-env.sh文件

cd /usr/local/apps/platform/spark/conf
vim spark-env.sh

在该配置文件中添加如下配置

export JAVA_HOME=/usr/java/jdk1.7.0_45
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hadoop1,hadoop2,hadoop3 -Dspark.deploy.zookeeper.dir=/spark"
export SPARK_MASTER_PORT=7077

修改slaves文件指定Worker

vim slaves

在该文件中添加子节点所在的位置(Worker节点)

hadoop2
hadoop3

将配置好的Spark拷贝到其他节点上并在其他节点创建软链接

scp -r spark-1.5.2-bin-hadoop2.6/ hadoop2:/usr/local/apps/platform/
scp -r spark-1.5.2-bin-hadoop2.6/ hadoop3:/usr/local/apps/platform/

3.启动spark集群

Spark集群配置完毕,在hadoop1上执行sbin/start-all.sh脚本,然后在hadoop2上执行sbin/start-master.sh启动第二个Master

启动后执行jps命令,hadoop1和hadoop2节点上有Master进程,其他子节点上有Work进行,登录Spark管理界面查看集群状态(主节点):http://hadoop1:8080/

查看评论

Net:解读微软互联网新战略(上)(玺龙阁收藏,强力推荐!)

Net:解读微软互联网新战略(上)(玺龙阁收藏,强力推荐!) http://www.chinabyte.com/column/column_page.shtm?column_type=comp_sea...
  • jiangtao
  • jiangtao
  • 2001-03-24 15:08:00
  • 2851

构建高可用Linux服务器(第4版)

  • 2018年02月05日 15:36
  • 168.67MB
  • 下载

高可用MySQL(第2版)pdf

  • 2017年11月23日 09:44
  • 2.97MB
  • 下载

机械工业出版社 作者: 余洪春 构建高可用Linux服务器 PDF第4版 完整版

  • 2018年02月08日 14:10
  • 182.15MB
  • 下载

高可用MySQL_第2版_中文版(完整版本)_002

  • 2017年12月14日 13:23
  • 79.35MB
  • 下载

高可用MySQL_第2版_中文版(完整版本)_001

  • 2017年12月14日 13:26
  • 80MB
  • 下载

高可用MySQL 构建健壮的数据中心 第2版 PDF完整版

  • 2018年02月05日 15:56
  • 79B
  • 下载

高可用MySQL_构建健壮的数据中心pdf

下载地址:网盘下载 内容简介 编辑 本书是“MySQL High Availability”的中文翻译版,主要讲解真实环境下如何使用MySQL的复制、集群和监控特...
  • cf406061841
  • cf406061841
  • 2017-05-30 12:44:39
  • 756

构建高可用Linux服务器.pdf

  • 2013年07月05日 13:18
  • 52.14MB
  • 下载

构建高可用Linux服务器.第4版.part2

  • 2018年02月04日 19:48
  • 65.86MB
  • 下载
    个人资料
    持之以恒
    等级:
    访问量: 15万+
    积分: 2485
    排名: 1万+
    最新评论