疯狂Spark之Spark集群搭建以及任务提交

最新推荐文章于 2022-03-02 10:59:41 发布

已转行此号停用

最新推荐文章于 2022-03-02 10:59:41 发布

阅读量268

点赞数

分类专栏：大数据学习

本文链接：https://blog.csdn.net/qianfeng_dashuju/article/details/107245115

版权

本文详细介绍了如何在Standalone模式下搭建Spark集群，包括配置文件修改、启动集群及测试，以及Standalone两种提交任务方式（client和cluster模式）的执行流程和特点。此外，还涵盖了Yarn模式下client和cluster模式的任务提交方式及其执行原理。

摘要由CSDN通过智能技术生成

在node01、node02、node03三台虚拟机上搭建spark集群

下载安装包，将安装包上传到node01上并解压

上传安装包

解压命令：tar -zxvf spark-1.6.0-bin-hadoop2.6.tgz

修改解压包名称命令：mv spark-1.6.0-bin-hadoop2.6 spark-1.6.0

需要修改一下几个参数

SPARK_MASTER_IP:master的ip

SPARK_MASTER_PORT:提交任务的端口，默认是7077

SPARK_WORKER_CORES：每个worker从节点能够支配的core的个数

SPARK_WORKER_MEMORY:每个worker从节点能够支配的内存数

进入文件所在目录命令：cd spark-1.6.0/conf/

修改文件名称命令：mv spark-env.sh.template spark-env.sh

编辑spark-env.sh命令：vi spark-env.sh

在该文件中配置如下内容

export SPARK_MASTER_IP=node01
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=2
export SPARK_WORKER_MEMORY=3g

slaves

修改slaves.template文件，添加从节点。保存。

修改文件名称命令：mv slaves.template slaves

编辑文件命令：vi slaves

下发文件到node02、node03上

下发命令：

scp -r spark-1.6.0 root@node02:/root/
scp -r spark-1.6.0 root@node03:/roo

关注

专栏目录