Spark系列（17）—— Spark 资源调优

已于 2025-01-07 11:20:37 修改
阅读量309 收藏
点赞数 4
分类专栏： 大数据从入门到精通 文章标签： 大数据 spark
于 2023-11-13 04:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shangjg03/article/details/134359169
版权
本文详细探讨了Spark资源调优，包括资源规划、持久化和序列化以及CPU优化。在资源规划中，介绍了如何根据服务器配置设定Executor的核数和内存。在持久化和序列化部分，对比了RDD与DataFrame/Dataset的缓存策略。最后，分析了CPU低效的原因，并提出合理利用CPU资源的方法，如调整并行度和shuffle分区个数。
摘要由CSDN通过智能技术生成

1 资源规划

1.1 资源设定考虑

1、总体原则

以单台服务器128G内存，32线程为例。

了解本专栏 订阅专栏 解锁全文
Spark作业性能调优——资源参数调优
程序猿丶HLK
06-25 591
一、分配更多资源 性能调优的王道，就是增加和分配更多的资源，性能和速度上的提升是显而易见的，基本上，在一定范围之内，增加资源与性能的提升是成正比的。写完了一个复杂的Spark作业之后，进行性能调优的时候，首先第一步，就是要调节最优的资源配置，在这个基础之上，如果说你的Spark作业，能够分配的资源达到了你的能力范围的顶端之后，无法再分配更多的资源了，公司资源有限，那么才是考虑去做后面的这些性能调...
Spark性能调优——【笔记一】
qq_35583915的博客
10-29 472
Spark性能调优——【尚硅谷课程笔记一】 [课程链接]——https://www.bilibili.com/video/av54322051?p=50 一、常见性能调优 1.最优资源配置 名称 说明 –num-executors 配置executor的数量，数量增加，同时执行的task数量也增加，并行度增加 –driver-memory 配置Driver内存(影响不大) –executor-memory 配置每个Executor的内存大小 –executor-cores 配置每
spark性能调优——资源调优
fzyedu1111的博客
12-26 200
资源调优 目录 资源调优 调优概述 Spark作业基本运行原理 资源参数调优 num-executors executor-memory executor-cores driver-memory spark.default.parallelism spark.storage.memoryFraction spark.shuffle.memoryFraction 资源参数参...
Spark 性能调优——分布式计算
2301_81547508的博客
06-04 645
分布式计算的精髓，在于如何把抽象的计算流图，转化为实实在在的分布式计算任务，然后以并行计算的方式交付执行。今天这一讲，我们就来聊一聊，Spark 是如何实现分布式计算的。分布式计算的实现，离不开两个关键要素，一个是进程模型，另一个是分布式的环境部署。接下来，我们先去探讨 Spark 的进程模型，然后再来介绍 Spark 都有哪些分布式部署方式。
Spark系列——Spark性能调优：资源优化
凝眸伏笔的博客
05-16 312
在前辈们的基础上，本人根据自己在实际操作中又补充了一些内容，参考链接见最后。欢迎交流~~~    在开发完Spark作业之后，就该为作业配置合适的资源了。Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知道应该设置哪些必要的参数，以及如何设置这些参数，最后就只能胡乱设置，甚至压根儿不设置。资源参数设置的不合理，可能会导致没有充分利用集群资源...
用户画像系列——Spark任务调优实践
诸葛子房的博客
08-01 444
其实spark 数据倾斜思路和hive、mapreduce 数据倾斜思路处理类似，先看运行的任务，找到spark监控，active job -> stage -> task, 最终我们就能找到运行的task，可以看一些运行时长远超其他的task，同时处理的数据量也远超其他task，这种情况就是有数据倾斜了。我们可以一次拿到一个分区的数据，那么我们就可以对一个分区的数据进行统一处理，会加大内存的开销，可能会导致 oom 问题也是需要注意的。当然大家，也可以继续看看前面写的用户画像系列文章。
spark性能调优——开发调优
fzyedu1111的博客
12-26 240
开发调优 目录 开发调优 概述 原则一：避免创建重复的RDD 一个简单的例子 原则二：尽可能复用同一个RDD 一个简单的例子 原则三：对多次使用的RDD进行持久化 对多次使用的RDD进行持久化的代码示例 Spark的持久化级别 如何选择一种最合适的持久化策略 原则四：尽量避免使用shuffle类算子 Broadcast与map进行join代码示例 原则五：使用map-s...
Spark-core性能优化——资源调优
Stray_Lambs的博客
06-16 300
资源调优 在开发完Spark作业之后，就该为作业配置合适的资源了。Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知道该设置哪些必要的参数，以及如何设置这些参数，最后就只能胡乱设置，甚至压根儿不设置。资源参数设置的不合理，可能会导致没有充分利用集群资源，作业运行会极其缓慢；或者设置的资源过大，队列没有足够的资源来提供，进而导致各种异常。总之，无论是哪种情况，都会导致Spark作业的运行效率低下，甚至根本无法运行。因此我们必须对Spar...
spark性能调优——shuffle调优
fzyedu1111的博客
12-26 265
目录   调优概述 ShuffleManager发展概述 HashShuffleManager运行原理 未经优化的HashShuffleManager 优化后的HashShuffleManager SortShuffleManager运行原理 普通运行机制 bypass运行机制 shuffle相关参数调优 spark.shuffle.file.buffer spark.re...
Spark性能调优——其他调优方法
象在舞的技术专栏
09-10 315
一、提高并行度 实际上Spark集群的资源并不一定会被充分利用到，所以要尽量设置合理的并行度，来充分地利用集群的资源。才能充分提高Spark应用程序的性能。 Spark会自动设置以文件作为输入源的RDD的并行度，依据其大小，比如HDFS，就会给每一个block创建一个partition，也依据这个设置并行度。对于reduceByKey等会发生shuffle的操作，就使用并行度最大的父R
Spark性能优化指南——高级篇
01-27
继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘手的性能问题。 有的时候，我们可能会遇到大数据...
Spark性能调优——基础篇
Miracle_shen的博客
06-15 7494
本文要解决的问题： Spark在使用过程中不可避免的需要进行一系列的性能优化，本文就Spark性能调优的基础部分进行总结和归纳（开发调优和资源调优），参考了不少前辈的文章，在此非常感谢。目的在大数据的领域，Spark已经成为了不可或缺的一部分，被越来越多的人使用。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常
【MQ】探索 Kafka
贾斯丁的博客
01-24 844
消息的顺序性、顺序写磁盘零拷贝RocketMQ内部主要是使用基于mmap实现的零拷贝，用来读写文件减少cpu的拷贝次数和上下文切换次数，实现文件的高效读写操作零拷贝顺序写磁盘页缓存技术批量传输与压缩消息网络模型分区并发高效的文件数据结构。
【Prometheus】RabbitMQ安装部署，如何通过prometheus监控RabbitMQ
景天科技苑
01-24 5168
RabbitMQ是一个开源的消息代理和队列服务器，它使用Erlang语言编写并运行在多种操作系统上，如Linux、Windows等。RabbitMQ可以接收、存储和转发消息（也称为“事件”）到连接的客户端。它适用于多种场景，包括异步通信、流量削峰、应用解耦等。本文详述RabbitMQ的安装部署和通过prometheus监控RabbitMQ的方法
doris: CSV导入数据
最新发布
qq_36070104的博客
01-25 962
doris: CSV导入数据
zookeeper的介绍和简单使用
qq_73797346的博客
01-22 1134
zookeeper是一个开源的分布式协调服务，由Apache软件基金会提供，主要用于解决分布式应用中的数据管理、状态同步和集群协调等问题。通过提供一个高性能、高可用的协调服务，帮助构建可靠的分布式系统。Zookeeper采用Leader-Follower架构，集群通常由奇数个节点组成，以确保在网络分区或节点故障时仍能实现一致性与可用性。核心机制是ZAB协议（Zookeeper Atomic Broadcast），一种崩溃恢复的原子广播协议，保证了在网络分区和崩溃时的最终一致性和持久性。
【Elasticsearch】_reindex api请求
risc123456的博客
01-23 566
在Elasticsearch中，你可以使用 `_tasks` API 来检查 `_reindex` 任务的状态。当你发起一个 `_reindex` 请求时，Elasticsearch 会返回一个任务 ID，你可以使用这个任务 ID 来查询任务的详细状态。如果需要取消正在进行的 `_reindex` 任务，你可以使用 `_tasks` API 的 `cancel` 功能。在这个响应中，`"tasks": "node_id:task_id"` 是任务的唯一标识符。- `completed`: 任务是否已完成。
Kafka 如何实现高性能
言之。
01-25 639
分布式架构与分区机制提高并行处理能力。顺序写入磁盘与批量处理减少 I/O 延迟。压缩与零拷贝提升网络和存储的效率。副本机制与消费者分组保证高可用性与吞吐量。流控与负载均衡保障系统在高并发下的稳定性。这些设计使得 Kafka 能够在大规模、高吞吐量、低延迟的场景中发挥出色的性能。
Elasticsearch 性能测试工具 Loadgen 之 004——高级用法示例
铭毅天下Elasticsearch
01-23 603
在性能测试中，能够灵活地模拟不同的应用场景是至关重要的。Loadgen 提供了多种高级用法，帮助用户更好地评估系统在不同负载下的表现。本文将介绍如何使用 Loadgen 模拟批量摄取、限制客户端负载以及限制总请求数。一、模拟批量摄取在实际应用中，系统常常需要处理大量数据的批量摄取操作。Loadgen 可以轻松模拟这一过程，以评估系统在批量处理时的性能。示例配置 以下是一个批量摄取的请求配置示例：-...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

shangjg3

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值