spark 集群

原创 2016年08月29日 14:00:29

1. spark 可以有三种安装部署模式 ,mesos 集群 yarn 集群 或者 standalone 模式

2. spark 的部署模式有两种 client模式(默认)和cluster模式

   client模式是driver直接在spark-submit进程中启动,将本地作为外部客户端

   cluster模式 是在worker节点部署你的driver, 如果你的机器跟cluster集群距离较远,通常情况下用cluster模式减少drivers和executors的网络延迟。cluster模式目前不支持独立集群(standalone)、 mesos集群以及python应用程序。

client模式中,driver启动进程与 客户端提交应用程序所在的进程是同一个进程。然而,在cluster模式中,driver在集群的某个worker进程中启动,只有客户端进程完成了提交任务,它不会等到应用程序完成就会退出。


3. --master的参数

Master URL Meaning
local 用一个worker线程本地运行Spark
local[K] 用k个worker线程本地运行Spark(理想情况下,设置这个值为你的机器的核数)
local 用尽可能多的worker线程本地运行Spark
spark://HOST:PORT 连接到给定的Spark独立部署集群master。端口必须是master配置的端口,默认是7077
mesos://HOST:PORT 连接到给定的mesos集群
yarn-client 以client模式连接到Yarn集群。群集位置将基于通过HADOOP_CONF_DIR变量找到
yarn-cluster 以cluster模式连接到Yarn集群。群集位置将基于通过HADOOP_CONF_DIR变量找到

集群启动脚本

为了用启动脚本启动Spark独立集群,你应该在你的Spark目录下建立一个名为conf/slaves的文件,这个文件必须包含所有你要启动的Spark worker所在机器的主机名,一行一个。如果 conf/slaves不存在,启动脚本默认为单个机器(localhost),这台机器对于测试是有用的。注意,master机器通过ssh访问所有的worker。在默认情况下,SSH是并行运行,需要设置无密码(采用私有密钥)的访问。 如果你没有设置为无密码访问,你可以设置环境变量SPARK_SSH_FOREGROUND,为每个worker提供密码。

一旦你设置了这个文件,你就可以通过下面的shell脚本启动或者停止你的集群。
  • sbin/start-master.sh:在机器上启动一个master实例
  • sbin/start-slaves.sh:在每台机器上启动一个slave实例
  • sbin/start-all.sh:同时启动一个master实例和所有slave实例
  • sbin/stop-master.sh:停止master实例
  • sbin/stop-slaves.sh:停止所有slave实例
  • sbin/stop-all.sh:停止master实例和所有slave实例
注意,这些脚本必须在你的Spark master运行的机器上执行,而不是在你的本地机器上面。

http://blog.csdn.net/ichsonx/article/details/44594567





Hadoop+Spark+R+SparkR集群环境搭建

  • 2017年11月15日 10:19
  • 230KB
  • 下载

Spark提交作业的流程以及作业是如何被触发在集群中运行的

首先使用脚本spark-submit将作业提交,这个过程实际上就是使用shell脚本调用java命令运行的SparkSubmit类的main方法,所以我们接下来需要看一下SparkSubmit的mai...
  • Dax1n
  • Dax1n
  • 2017年04月05日 21:48
  • 1028

spark yarn集群搭建手册

  • 2017年08月18日 10:35
  • 208KB
  • 下载

spark最新集群搭建指南2017

  • 2017年08月03日 20:19
  • 48KB
  • 下载

大数据 IMF 传奇 spark -history在分布式 集群 的安装部署 及问题解决

配置Spark History Server   1. 在Spark的conf目录下/usr/local/spark-1.6.0-bin-hadoop2.6/conf,将spark-default...

spark集群搭建超详细

  • 2017年07月06日 11:30
  • 5.46MB
  • 下载

spark集群搭建

  • 2014年11月24日 16:52
  • 523KB
  • 下载

spark1.6分布式集群环境搭建

1. 概述 本文是对spark1.6.0分布式集群的安装的一个详细说明,旨在帮助相关人员按照本说明能够快速搭建并使用spark集群。   2. 安装环境 本...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:spark 集群
举报原因:
原因补充:

(最多只允许输入30个字)