【大数据入门核心技术-Spark】（四）Spark Standlone模式安装

已于 2022-12-20 23:07:21 修改
阅读量486 收藏
点赞数 1
分类专栏： 大数据技术入门到21天通关 文章标签： 大数据 spark 分布式
于 2022-12-16 23:03:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/forest_long/article/details/128337060
版权
本文详细介绍了如何在大数据环境中安装Spark Standalone模式，包括前期的Hadoop环境准备，Spark的下载与解压，配置环境变量，修改配置文件，分发文件，启动Spark集群以及测试安装是否成功。通过跟随步骤，读者可以掌握独立Spark集群的部署和运行测试。
摘要由CSDN通过智能技术生成

目录

一、Spark集群三种部署模式

1、Local模式

2、Spark Standalone模式

3、Spark on YARN模式

二、准备工作

1、Hadoop环境安装

2、下载spark

三、安装spark

1、解压

2、配置环境变量

3、修改配置文件

4、分发文件

5、启动spark

6、测试安装是否成功

四、运行测试spark

1、读取HDFS文件

五、常见问题

一、Spark集群三种部署模式

1、Local模式

运行在一台计算机上的，通常是用来做测试

2、Spark Standalone模式

Standalone模式是Spark自带的资源调动引擎，构建一个由Master + Slave构成的Spark集群，Spark运行在集群中。这个要和Hadoop中的Standalone区别开来。这里的Standalone是指只用Spark来搭建一个集群，不需要借助其他的框架。是相对于Yarn和Mesos来说的。

3、Spark on YARN模式

该模式下是使用hadoop带有资源调度yarn来运行spark

了解本专栏 订阅专栏 解锁全文 超级会员免费看
forest_long
关注
专栏目录
订阅专栏
【大数据入门核心技术-Spark】（十二）Spark SQL连接外部的 HIVE
08-02 118
【大数据入门核心技术-Spark】（三）Spark 本地模式安装【大数据入门核心技术-Spark】（四）Spark Standlone模式安装【大数据入门核心技术-Spark】（五）Spark On Yarn模式安装【大数据入门核心技术-Spark】（六）Spark Standlone HA模式安装
【大数据入门核心技术-Spark】（十七）Spark Streaming整合 Kafka
03-18 204
【大数据入门核心技术-Spark】（三）Spark 本地模式安装【大数据入门核心技术-Spark】（四）Spark Standlone模式安装【大数据入门核心技术-Spark】（五）Spark On Yarn模式安装【大数据入门核心技术-Spark】（六）Spark Standlone HA模式安装
详解 spark_大数据Spark运行环境：Standalone模式与配置详解
weixin_42516967的博客
01-12 397
大数据Spark运行环境：Standalone模式与相关配置详解Standalone模式这里我们来看看只使用Spark自身节点运行的集群模式，也就是我们所谓的独立部署(Standalone)模式。Spark的Standalone模式体现了经典的master-slave模式。集群规划:1 解压缩文件将spark-3.0.0-bin-hadoop3.2.tgz.tgz文件上传到Linux并解压缩在指定...
大数据-计算引擎-Spark（二）：Spark安装与配置【Local模式、Standalone模式、Yarn模式】
u013250861的博客
01-30 671
大数据-计算引擎：Spark安装与配置【Local模式】
【大数据入门核心技术-Spark】（七）执行Spark任务的两种方式:spark-submit和spark-shell
03-17 1889
引入：spark-shell交互式编程确实很方便我们进行学习测试，但是在实际中我们一般是使用IDEA开发Spark应用程序打成jar包交给Spark集群/YARN去执行，所以我们还得学习一个spark-submit命令用来帮我们提交jar包给spark集群/YARN。引入：之前我们使用提交任务都是使用spark-shell提交，spark-shell是Spark自带的交互式Shell程序，方便用户进行交互式编程，用户可以在该命令行下可以用scala编写spark程序，适合学习测试时使用！
【大数据入门核心技术-Spark】（十一）Spark Core实战实例（一）
03-18 248
【大数据入门核心技术-Spark】（三）Spark 本地模式安装【大数据入门核心技术-Spark】（四）Spark Standlone模式安装【大数据入门核心技术-Spark】（五）Spark On Yarn模式安装【大数据入门核心技术-Spark】（六）Spark Standlone HA模式安装
Flume：大规模日志收集与数据传输的利器
最新发布
Casual_Lei的博客
09-14 792
是一个分布式、可靠、可扩展的日志收集和聚合系统，设计的初衷是用于高效收集和传输大量日志数据。它通常用于将数据从各种数据源，如日志文件、应用服务器、甚至是消息队列，实时传输到大数据处理系统（如 Hadoop 的 HDFS、HBase 或 Kafka）。Flume 的一个重要特点是其“可插拔性”，可以灵活地配置不同的数据源（Source）和目标存储（Sink），通过中间通道（Channel）来实现可靠的数据传输。Apache Flume 是一个非常强大的工具，适用于大规模日志数据的实时收集和传输。
flink增量检查点启动恢复的时间是很久的，业务上不能接受，怎么处理
goTsHgo的博客
09-11 830
针对增量检查点恢复时间长的问题，可以从多个方面进行优化，包括合并检查点、提升存储性能、优化 RocksDB 配置、并行化恢复过程等。同时，也可以考虑替代方案，如多活架构、预热恢复、降低状态依赖和改进状态管理策略。此外，在业务层面上，适当调整业务容忍度和提高用户透明度也是有效的应对措施。通过综合应用这些策略，可以有效地降低恢复时间并提高业务的连续性和可靠性。
Elasticsearch7.x 集群迁移文档
happy_king_zi的博客
09-11 986
同时检查当前运行集群状态是否为green。如果出现异常，可以配置discovery.zen.ping.unicast.hosts: [“10.200.112.149”, “10.200.112.151”,“10.200.112.153”,“172.31.2.84”, “172.31.0.147”,“172.31.0.94”]，恢复当前关闭节点。操作顺序操作动作1。
【RabbitMQ】工作模式
weixin_73060900的博客
09-11 928
对RabbitMQ工作模式的简单概述以及代码案例
滚雪球学SpringCloud[2.2]：Consul与Zookeeper服务注册
**My Coding Family**
09-14 655
在上一节【2.1 服务注册中心Eureka】中，我们探讨了 Netflix 开源的服务注册中心 Eureka 的核心概念及其在微服务架构中的应用。Eureka 通过提供服务注册与发现功能，帮助微服务之间高效通信，并且具备高可用性和扩展性。虽然 Eureka 在微服务架构中应用广泛，但并不是唯一的解决方案。除了 Eureka，还有其他非常优秀的服务注册中心，如Consul和Zookeeper，它们在不同的场景下各有优势。本节将详细介绍Consul和Zookeeper。
从AI到大数据，数字技术服务平台全栈赋能企业升级
smjt2024的博客
09-11 551
海量的数据中蕴含着丰富的信息和价值，数字技术服务平台能够收集、整理和分析这些数据，为企业提供精准的市场洞察和决策支持。企业可以通过参加树莓集团举办的培训课程和研讨会，了解最新的数字技术趋势和应用案例，提升自身的数字技术水平。从技术咨询、解决方案设计到系统实施和运维，数字技术服务平台为企业提供一站式的服务，让企业无需担心技术难题，专注于自身的核心业务。树莓集团的数字技术服务平台，以其先进的技术、专业的服务和丰富的经验，为企业提供了全栈赋能。在数字时代，让我们共同利用数字技术服务平台，开启企业升级的新篇章。
大数据-127 - Flink State 04篇 状态原理和原理剖析：状态存储 Part2
永远好奇，无限进步！
09-10 2237
在Flink的实际实现中，对于同一种StateBackend，不同的State在运行时会有细分的StateBackend托管，例如：MemoryStateBackend，就有DefaultOperatorStateBackend管理OperatorState，HeapKeyedStateBackend管理KeyedState。JOB_ID是应用的唯一ID，CHECK_POINT_ID 是每次 CheckPoint时自增的数字ID，我们可以从备份的CheckPoint数据恢复当时的作业状态。
Kafka下载与安装教程（国产化生产环境无联网服务器部署实操）
latesummer_的博客
09-14 381
请放心观看，已在正式环境部署验证，流程无问题！所用系统为国产化麒麟银河 aarch64系统，部署时间2024年9月份！
大数据-132 - Flink SQL 基本介绍 与 HelloWorld案例
永远好奇，无限进步！
09-12 2105
Flink SQL 是 Apache Flink 提供的一种高层次的查询语言接口，它基于 SQL 标准，为开发者提供了处理流式数据和批处理数据的能力。Flink SQL 允许用户使用标准 SQL 查询语言在数据流和数据表上执行复杂的操作，适用于多种应用场景，如实时分析、数据流处理、机器学习等。Flink SQL 的一大特点是流处理和批处理的统一性。通过同一套 SQL 语法，用户可以同时处理静态数据（批处理）和动态数据（流处理）。这使得应用程序的开发更加简化，因为可以用相同的逻辑编写实时流数据处理和历史数据的
828华为云征文 | 使用华为云X实例部署图数据库Virtuoso并存储6500万条大数据的完整过程与性能测评
cooldream2009的博客
09-10 1657
在大数据时代，图数据库以其强大的关系处理能力在复杂网络、社交媒体分析、知识图谱等领域得到了广泛应用。而在云计算的蓬勃发展下，使用云服务器进行图数据库的部署与管理变得更加方便高效。本篇文章将详细介绍如何在华为云X实例上部署开源图数据库Virtuoso，并将6500万条大数据存储于其中，最后对数据库的性能进行全面测评，为后续大规模数据管理提供有益参考。
SuperMap GIS基础产品FAQ集锦(20240911)
SuperMap技术控
09-12 3165
SuperMap GIS基础产品FAQ集锦(20240911)
测试-Testcontainers
Flying_Fish_roe的博客
09-12 570
Testcontainers 允许你通过自定义 Docker 容器，适用于不在官方支持列表中的服务或应用。// 获取 Redis 的地址和端口 String address = redis . getHost();} } }// 获取 Redis 的地址和端口 String address = redis . getHost();} } }// 获取 Redis 的地址和端口 String address = redis . getHost();} } }
LTE SS-LE-STANDLONE
07-10
LTE（Long-Term Evolution）是一种4G移动通信标准...在NSA（Non-Standalone，非独立组网）模式下，5G通过与4G协同工作来提供服务，而在SA（Standalone，独立组网）模式下，尤其是SA-SSB-standalone，5G网络能独立运行。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

forest_long

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值