Cluster模式
standalone,Yarn,Messos(国内很少用)
说明
- 如果现有的集群框架中存在MR的相关应用,同时相关的MR无法转换为Spark应用的,集群选型为Spark On Yarn;
- 如果现有的集群框架中只有Spark应用,那么建议采用spark Standalone模式;
- spark可以运行在不同的计算引擎上,所以集群模式安装分不同种情况:
说明:spark的Standalone模式和Spark on Yarn占比较多。
spark的standalone集群模式安装
【standalone:由spark自己来完成资源的管理与调度】
standalone:主从架构 ---- >master worker
- 复制三个文件,并修改:
cp spark-env.sh.template spark-env.sh
添加以下内容,master节点是Master(主) 注意:"="附近无空格:
export JAVA_HOME=/home/wyc/apps/jdk
export SPARK_MASTER_HOST=master
export SPARK_MASTER_PORT=7077
cp slaves.template slaves
添加工作节点(Worker 从节点),如下:
slave1
slave2
slave3
(注意:
需要注释或删除原内容:localhost,否则运行start-slaves.sh会提示错误,但无影响)
cp spark-defaults.conf.template spark-defaults.conf
留着备用
- 远程scp复制spark安装目录至其它节点:slave1、slave2和slave3,并创建软链接
scp -r ~/apps/spark-2.1.2-bin-hadoop2.7/ wyc@slave1:/home/wyc/apps/
scp -r ~/apps/spark-2.1.2-bin-hadoop2.7/ wyc@slave2:/home/wyc/apps/
scp -r ~/apps/spark-2.1.2-bin-hadoop2.7/ wyc@slave3:/home/wyc/apps/
ln -s spark-2.1.2-bin-hadoop2.7 spark //