配置Spark Standalone集群

最新推荐文章于 2024-08-12 23:51:20 发布
最新推荐文章于 2024-08-12 23:51:20 发布
阅读量343 收藏 1
点赞数
文章标签： spark big data 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_65838036/article/details/125328677
版权
本文详细介绍了如何在master和slave虚拟机上配置Spark Standalone集群，包括安装、环境变量配置、Spark Shell启动以及集群的启停操作。关键步骤包括在master节点解压Spark安装包，设置环境变量，配置spark-env.sh文件，以及在slave节点同步配置和启动服务。
摘要由CSDN通过智能技术生成

（一）在master虚拟机上安装配置Spark

1、进入/opt目录，查看spark安装包

2、将spark安装包解压到指定目录

  • 执行命令：tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz -C /usr/local

3、配置spark环境变量

  • 执行命令：vim /etc/profile

 export SPARK_HOME=/usr/local/spark-2.1.1-bin-hadoop2.7
export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH

存盘退出后，执行命令：source /etc/profile，让配置生效

最低0.47元/天 解锁文章
我非常爱学习
关注
Spark Standalone 集群配置
主要分享大数据相关的知识，如Spark、Hudi
02-07 532
平时工作中主要用 YARN 模式，最近进行TPC测试用到了 Standalone 模式，便记录总结一下 Standalone 集群相关的配置。
Spark基础学习笔记05：搭建Spark Standalone集群
lwmzl00的博客
06-17 1118
文章目录 零、本讲学习目标 搭建Spark Standalone模式的集群 能够启动Spark Standalone模式的集群 学会Spark应用程序的提交 Spark的两种集群运行模式：Spark Standalone模式和Spark On YARN模式。Standalone模式需要启动Spark集群，而Spark On YARN模式不需要启动Spark集群，只需要启动YARN集群即可。先来搭建Spark Standalone模式的集群。一、Spark Standalone架构 Spark Standal
spark之Standalone模式部署配置详解
08-29
主要介绍了spark之Standalone模式部署配置详解，小编觉得挺不错的，这里分享给大家，供各位参考。
spark1.1.0部署standalone分布式集群
my0113的专栏
09-23 330
配置三个节点的spark集群，集群模式为standalone模式，其中sp1节点作为主节点，sp2节点和sp3节点为从节点。***注意所有操作均为root用户。 创建3个CentOS虚拟机，如下： sp1 192.168.1.21 //master节点 sp2 192.168.1.22 //slave节点 sp3 192.168.1.23 //slave节点 ...
【Spark集群部署系列二】Spark StandAlone模式介绍和搭建以及使用
最新发布
qq_65231448的博客
08-12 1279
【Spark集群部署系列一】Spark local模式介绍和搭建以及使用（内含Linux安装Anaconda)http://t.csdnimg.cn/0xmky 在部署spark集群前，请部署好Hadoop集群，jdk8【当然Hadoop集群需要运行在jdk上】，需要注意hadoop，spark的版本，考虑兼容问题。比如hadoop3.0以上的才兼容spark3.0以上的。 下面是Hadoop集群部署的链接，个人笔记，已经成功部署两次了，实时更新，分【一】【二】两部分，需要的自己看。不懂欢迎问，看到了解答。
spark standalone集群部署
shuest的博客
06-23 443
进入spark安装目录下的conf文件夹 修改配置文件名称 mv slaves.template slaves mv spark-env.sh.template spark-env.sh 修改slave文件，添加work节点： vim slaves 加入： hadoop102 hadoop103 hadoop104 修改spark-env.sh文件，添加如下配置： SPARK_MASTER_HOST=hadoop102 SPARK_MASTER_PORT=7077 分发spar
Spark Standalone HA环境配置教程
feizuiku0116的博客
01-26 974
一、准备工作 一、配置Standalone集群模式 点击查看Standalone集群模式配置教程 二、修改配置文件 cd /export/server/spark/conf 注释或删除MASTER_HOST内容: # SPARK_MASTER_HOST=node1 增加以下配置: SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=node1:2181,node2:2181,no
Spark StandAlone 集群搭建
zhixingheyi_tian的博客
04-10 235
启动master节点 ./sbin/start-master.sh 登陆到UI http://10.239.10.11:8080/
spark Standalone集群模式配置
湖人•总冠军
01-14 6420
前言：之前总结的>>>>>sprak集群 standalone模式安装配置>>>>> 配置三个节点的spark集群，集群模式为standalone模式，其中sp1节点作为主节点，sp2节点和sp3节点为从节点。 ***注意所有操作均为root用户 1. 创建3个CentOS虚拟机，如下： sp1 192.168.1.2...
Spark环境搭建——standalone集群模式
01-07
这篇博客，Alice为大家带来的是Spark集群环境搭建之——standalone集群模式。 文章目录集群角色介绍集群规划修改配置并分发启动和停止查看web界面测试 集群角色介绍  Spark是基于内存计算的大数据并行计算框架，...
Spark环境搭建之Standalone独立集群
大数据跟我学i
03-10 209
文章目录原理操作测试1.集群启动和停止2.jps查看进程3.http://node01:8080/4.启动spark-shell5.提交WordCount任务6.查看结果7.查看spark任务web-ui 原理 操作 集群规划 node01:master ndoe02:worker/slave 配置slaves/workers 进入配置目录： cd /export/servers/spark/conf 修改配置文件名称： mv slaves.template slaves vim slaves
详解 Spark 的 Standalone 集群
初阳
11-15 773
在一台机器上本地运行是很容易的，只需要在系统路径上安装Java，或者JAVA_HOHE环境变量指向Java安装 可以通过scala shell的修改版本以交互方式运行spark。这是学习框架的好方法。 ./bin/spark-shell --master local[2] --master选项指定分布式集群的主URL，或local以一个线程本地运行，或local[N]以n个线程本地运行。要...
Spark中Standalone的两种提交模式（Standalone-client模式与Standalone-cluster模式）
huojiao2006的博客
06-04 9261
Spark中Standalone有两种提交模式，一个是Standalone-client模式，一个是Standalone-cluster模式。 1.Standalone-client提交任务方式 提交命令 ./spark-submit --master spark://node01:7077 --class org.apache.spark.examples.SparkPi ../l...
搭建Spark Standalone集群
梁辰兴的博客
04-19 1163
当应用程序运行时，Master会在集群中选择一个Worker进程启动一个名为DriverWrapper的子进程，该子进程即为Driver进程，所起的作用相当于YARN集群的ApplicationMaster角色，类似MapReduce程序运行时所产生的MRAppMaster进程。Spark Standalone集群使用Spark自带的资源调度框架，但一般我们把数据保存在HDFS上，用HDFS做数据持久化，所以Hadoop还是需要配置，但是可以只配置HDFS相关的，而Hadoop YARN不需要配置。
1.8.3 大数据-Spark-Standalone集群模式配置
赤山岛
09-20 161
配置 slaves bigdata-pro03.kfk.com 配置 spark-env.sh JAVA_HOME=/opt/modules/jdk1.8.0_11 SCALA_HOME=/opt/modules/scala-2.11.8 SPARK_MASTER_HOST=bigdata-pro03.kfk.com SPARK_MASTER_PORT=7077 SPARK_MASTER_WEBUI_PORT=8080 SPARK_WORKER_CORES=1 SPARK_WORKER_MEMORY=1g
第二十二记·Spark Standalone环境搭建 监听历史服务配置
玖局下半的博客
09-06 405
XY个人记 Standalone集群的配置     配置前提：需要spark的本地执行环境已经配置OK，可参考（第二十一记·Spark local本地运行环境搭建及wordCount案例分析）     在spark-env文件中可以看到它为我们提供需要配置的相应信息如下： 1.修改spark-env.sh文件根据上面提示配置如下 SPARK_MASTER_HOST=hadoop01...
Spark-standalone配置高可用（HA）|运行流程
SmallScorpion
04-16 239
停止集群 sbin/stop-all.sh Zookeeper正常安装并启动 修改spark-env.sh文件添加如下配置 注释掉如下内容： #SPARK_MASTER_HOST=hadoop102 #SPARK_MASTER_PORT=7077 添加上如下内容。配置由Zookeeper管理Master，在Zookeeper节点中自动创建/spark目录，用于管理： export SPA...
搭建环境05：部署Spark-Standalone模式
m0_37559973的博客
10-03 1144
部署Spark-Standalone模式
Spark Standalone集群部署与工作流程详解
总结来说，Spark standalone分布式集群的搭建涉及配置文件的管理、集群的启动和停止，以及通过命令行工具进行作业的提交和监控。了解并掌握这些配置和操作流程，是使用Spark进行大规模分布式计算的基础。同时，理解...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值