Spark的StandAlone集群模式安装部署

最新推荐文章于 2025-05-20 20:53:59 发布
原创 最新推荐文章于 2025-05-20 20:53:59 发布 · 595 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #大数据 #hadoop #apache spark

本文详细介绍了Spark的StandAlone集群模式，包括集群角色解析——master和slave，集群规划，如节点配置，以及如何修改和分发配置文件。接着，文章阐述了启动和停止集群的步骤，并提供了测试集群运行wordcount程序的方法。强调在集群模式下，程序应读取HDFS文件而非本地文件。

StandAlone集群模式的介绍与部署

集群角色介绍

Spark是基于内存计算的大数据并行计算框架，实际中运行计算任务肯定是使用集群模式，那么就需要了解spark自带的standalone集群模式的架构以及它的运行机制

stand alone集群模式使用了分布式计算中的master - slave模型
master是集群中含有master进程的节点
slave是集群中worker节点含有Executor进程

Spark架构图如下：
在这里插入图片描述
Apache对spark架构的官方描述：http://spark.apache.org/docs/latest/cluster-overview.html

集群规划

节点1：master
节点2：slave/worker
节点3：slave/worker

修改配置并分发

  • 修改spark配置文件
    进入spark解压路径的conf目录：cd /export/servers/spark-2.2.0-bin-2.6.0-cdh5.14.0/conf/
    拷贝spark-env.sh.template并修改名称为spark-env.sh：cp spark-env.sh.template spark-env.sh
  • 修改并添加配置
#配置java环境变量
export JAVA_HOME=${JA
最低0.47元/天 解锁文章
spark基于standalone模式集群部署--centos7环境
nzbing的博客
10-06 408
一、前期准备 1、三台虚拟机 2、spark安装包，我的版本spark-3.1.2-bin-hadoop3.2 3、scala环境，我的版本scala-2.11.8 4、jdk,我的版本jdk-8u181 二、操作系统准备 1、先配置一台机器，后续可通过虚拟机克隆来进行操作 2、安装相关命令 yum -y install vim yum -y install net-tools yum -y install tar 3、设置静态ip vim /etc/sysconfig/network-scripts/i
Spark集群环境搭建（standalone模式）
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-01 5228
大数据实验教学系统Spark集群环境搭建（standalone模式）spark有以下几种运行模式，每种运行模式都有自己不同的优点和长处。安装和配置Spark环境（standalone模式）   掌握Spark集群的启动和关闭。1、在master主节点上安装和配置Spark环境   2、将配置好的Spark文件夹拷贝到三个worker节点上   3、掌握Spark集群的启动和关闭   4、测试Spark集群安装是否成功。硬件：x86_64 ubuntu 16.04服务器   软件：JDK1.8，Spark-2
Spark 的Standalone集群环境安装与测试
天冬忘忧的博客
11-05 1801
在大数据处理领域，Spark 是一款极为强大的工具。本文将重点介绍 Spark 的 Standalone 集群环境安装、测试相关内容，帮助大家更好地理解和使用 Spark 的集群模式。
Spark学习_2（Spark集群standalone模式安装）
weixin_38942735的博客
06-14 244
Spark集群安装下载安装包 下载安装包 下载解压，进入官网根据Hadoop的版本下载对应版的 Spark： 下载成功后通过rz命令上传该解压包到Linux系统中。 rz 将解压包移动到合适的文件夹中，我这里是移动到/usr/java中 mv spark-2.4.5-bin-hadoop2.7.tgz /usr/java 移动成功之后，进入到/usr/java目录中解压安装包,通过命令ls查看是否出现了解压成功之后的文件夹 tar -zxvf spark-2.4.5-bin-hadoop2.7.tgz
spark standalone集群部署
shuest的博客
06-23 506
进入spark安装目录下的conf文件夹 修改配置文件名称 mv slaves.template slaves mv spark-env.sh.template spark-env.sh 修改slave文件，添加work节点： vim slaves 加入： hadoop102 hadoop103 hadoop104 修改spark-env.sh文件，添加如下配置： SPARK_MASTER_HOST=hadoop102 SPARK_MASTER_PORT=7077 分发spar
Spark实验：Standalone模式安装部署（带答案）1
08-03
【Spark Standalone模式安装部署详解】 Spark是一款快速、通用且可扩展的大数据处理框架，它提供了高效的批处理、交互式查询、流处理等多种计算模式。在Standalone模式下，Spark可以独立于任何分布式资源管理系统...
安装部署 Spark Standalone 集群详细流程
日常学习与专研的记录
03-27 1467
本文主要介绍在 Linux 下安装 Spark Standalone 集群的详细流程。
Standalone模式的Spark集群的安装部署【详细教程】
qq_63834914的博客
10-05 1782
Apache Spark作为当下最流行的大数据处理框架之一，凭借其高效的内存计算和丰富的API接口，广泛应用于实时数据处理、机器学习和图计算等领域。对于初学者和开发者而言，快速搭建一个Spark集群是进行学习和实验的重要步骤。在众多部署模式中，独立模式（Standalone）是最为简单和直观的一种。它不需要依赖其他资源管理器（如Hadoop YARN或Mesos），只需几台机器即可轻松搭建一个完整的Spark集群。这种模式非常适合用于学习、测试和小规模生产环境。
【Spark集群部署系列二】Spark StandAlone模式介绍和搭建以及使用
qq_65231448的博客
08-12 1599
【Spark集群部署系列一】Spark local模式介绍和搭建以及使用（内含Linux安装Anaconda)http://t.csdnimg.cn/0xmky 在部署spark集群前，请部署好Hadoop集群，jdk8【当然Hadoop集群需要运行在jdk上】，需要注意hadoop，spark的版本，考虑兼容问题。比如hadoop3.0以上的才兼容spark3.0以上的。 下面是Hadoop集群部署的链接，个人笔记，已经成功部署两次了，实时更新，分【一】【二】两部分，需要的自己看。不懂欢迎问，看到了解答。
spark-standalone集群部署
BIGDATA_N1
12-13 1157
spark-standalone集群部署 1 配置jdk环境 2 master节点配置 3 slave节点配置 4 master启动spark-stanalone集群 5 使用spark-submit测试环境
Spark Standalone集群部署
YongYu_IT的专栏
07-12 439
集群管理器 spark集群和Hadoop集群类似，采取主从结构，有两类节点： 集群管理者 Master节点（也叫驱动器（Driver）节点）。Master负责集群资源管理，接收spark job并分布到各个计算节点上进行计算。在集群中起到支配作用。一个集群中，活跃的Master只能有一个（HA部署下，可能有多个在热备）！ 在Spark集群中，Master节点负责执行org.apache.s...
Spark StandAlone模式集群部署
CSDN1csdn1的博客
03-31 297
Anaconda：链接: https://pan.baidu.com/s/1JJKBdfXdkpx-WXkbtpr7GQ 提取码: aa3x。Spark：链接: https://pan.baidu.com/s/1lQ0kfQzzAQkOsOg1DzdFbQ 提取码: sp32。默认端口master我们设置到了8080。如果端口被占用, 会顺延到8081 …直到申请到端口为止。遇到操作时： 是否接受条款：yes => 自定义服务安装目录：/xxx/xxx => 是否初始化：yes。
spark部署standalone集群
踏莎行的博客
05-06 3606
spark官网文档：http://spark.apache.org/docs/latest/spark-standalone.html 环境 linux centos spark-1.3.1-bin-hadoop2.6 jdk1.7 python2.6 可以用tar.gz这种离线包解压后再配置环境变量，修改/etc/profile或者~/.bashrc文件并使用source命令使之生效。（本次仅仅
大数据Spark（五十九）：Standalone集群部署
最新发布
Lansonli（蓝深李）的博客
05-20 1915
Standalone集群是Spark自带的资源调度系统，无需依赖外部集群管理器。集群由主节点（Master）、工作节点（Worker）和客户端（Client）组成。Master负责资源管理和任务调度，Worker执行计算任务，Client提交任务。搭建Standalone集群的步骤包括：上传并解压Spark安装包，配置spark-env.sh和workers文件，将配置好的安装包发送到各节点，启动集群。启动后，可通过浏览器查看集群信息。测试集群时，可在客户端节点上提交任务，如SparkPi任务，以验证集群的
Spark standalone cluster模式部署实践
hiphoon_sun的专栏
06-07 1925
Spark的部署模式分为基于Cluster manager（YARN/Mesos）的模式， 独立模式(Standalone）。Standalone模式下又分成local模式和cluster模式。 下面是Spark standalone cluster模式部署的主要步骤： 从http://www.scala-lang.org/downloads下载scala 2.9.3包。从
Spark新手入门——3.Spark集群(standalone模式)安装
weixin_30483013的博客
07-15 176
主要包括以下三部分，本文为第三部分： 一. Scala环境准备 查看二. Hadoop集群(伪分布模式)安装 查看三. Spark集群(standalone模式)安装 Spark集群(standalone模式)安装 若使用spark对本地文件进行测试学习，可以不用安装上面的hadoop环境，若要结合hdfs使用spark，则可以参考上面的步骤搭建hadoop。 1. 下载安装包并...
【spark的集群模式搭建】Standalone集群模式的搭建（简单明了的安装教程）
一个大数据的爱好者
11-04 616
spark的集群模式搭建：Standalone集群模式的搭建
部署spark2.2集群(standalone模式)
程序员欣宸的博客
02-04 3228
部署spark2.2集群(standalone模式)
Spark环境搭建——standalone集群模式
大数据梦想家
02-19 8336
        这篇博客，Alice为大家带来的是Spark集群环境搭建之——standalone集群模式。 文章目录集群角色介绍集群规划修改配置并分发启动和停止查看web界面测试 集群角色介绍         Spark是基于内存计算...
Spark Standalone集群部署与工作流程详解
Spark standalone分布式集群是一种流行的运行模式，用于在多台机器上分布式地执行Spark应用程序。这种模式允许用户在没有预定义的集群管理器（如YARN或Mesos）的情况下，自行管理和启动Spark集群。以下是关于Spark ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值