spark调优

最新推荐文章于 2023-10-05 12:26:38 发布
最新推荐文章于 2023-10-05 12:26:38 发布
阅读量195 收藏
点赞数
分类专栏： spark 文章标签： spark spark调优
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36968512/article/details/85043779
版权

程序开始前我看从以下四方面设置
1.executor-memory
这个参数是设置分配任务总内存的
2.excutor-cores
设置集群的总核心数
3.num-excutors
申请的excutor的数据，最好和分区数量成倍数。
4.repartition
官网建议为excutors的2-3倍
详细见下图：
在这里插入图片描述

程序运行结束之后我们看看spark的UI界面，因为只是看输入日志能难判断出程序在哪里耗费时间比较长，一般是从两点判断
一是序列化,如果序列化时间过长，肯定不行，
二是GC，gc时间过长肯定也不行

忘川风华录
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark性能调优：num-executors, execuor-cores, executor-memory
lukabruce的博客
07-21 2901
spark性能调优
Spark 调优攻略上册
12-29
《Spark 调优攻略上册》是整合互联⽹优质的Blog与PPT形成的攻略，它主要对于企业级⼤规模数据计算引擎Spark多维度优化策略。本次整理不单单是Apache spark还涵盖了Data Lake和阿⾥云EMR智能团队研发的Jindo-Spark是...
Spark Yarn内存资源计算分析（参考）--Executor Cores、Nums、Memory优化配置
Alex的博客
03-18 2064
Spark on Yarn Executor Cores、Nums、Memory优化配置 三方面内容：executor 核心数目，executor 数量，executor 内存。对于driver memory 这个参数，设置比较灵活，一般1-8，这里不就不多说 设置以上三个参数，除了计算集群的节点数、节点Cores和内存大小外，还需要考虑以下四点因素： spark使用yarn做资源管理，yarn后台使用一些守护进程中运行的，如NameNode，Secondary NameNode，DataNode，J
Spark分配num-executors，execuor-cores和executor-memory
L, there!
06-14 1万+
spark配置参数设置 driver.memory：driver运行内存，默认值512m，一般2-6G num-executors：集群中启动的executor总数 executor.memory：每个executor分配的内存数，默认值512m，一般4-8G executor.cores ：每个executor分配的核心数目 yarn.am.memory：AppMaster内存，默...
spark参数调整调优
萌兔兔MMQ！！
07-25 372
原理解释在hive中decimal类型是固定的用int32来表示，而标准的parquet规范约定，根据精度的不同会采用int32和int64来存储，而spark就是采用的标准的parquet格式；默认是5，挂了就设置为6；在实际生产中，通常需要根据程序中使用的缓存内存和计算内存，来划分不同的比例，从而合理的利用内存，避免OOM，提高性能；对于spark调优和OOM异常，通常都是对executor的内存做调整，spark内存模型也是指executor的内存分配，所以executor的内存管理是非常重要的；..
spark如何合理的分配资源（executor-memory,num-executors,executor-cores）
dkk2014的博客
06-30 2251
以下为经验之谈，结合个人对spark框架的理解，如有错误，欢迎指正。 以yarn为例： 一。executor-memory，在集群资源允许的情况下，当然越多越好，个人建议上限为单个containers最大值的75%。 二。num-executors和executor-cores，由于执行任务的并发数=num-executors * executor-cores 。所以这一点经常会思考是100*1好，还是50*2比较好。 1.假设shuffer压力不大， ①在数据分布均匀，executor-memo
Spark调优1
08-08
使用广播变量开发过程中，会遇到需要在算子函数中使用外部变量的场景（尤其是大变量，比如100M以上的大集合），那么此时就应该使用Spark的广播(Broadcas
spark调优案例分享
最新发布
11-13
spark的调优案例分享
spark调优.rar
08-05
spark调优方法介绍，涉及资源调优，内存，代码，shuffle，数据本地化等等方面的详细介绍，三分文档
Spark内存资源分配——spark.executor.memory等参数的设置方法
热门推荐
qq_28658621的博客
01-19 1万+
Spark内存资源分配——spark.executor.memory等参数的设置方法
第三部分：Spark调优篇
index_test的博客
09-06 2530
Spark优化包括：常规性能调优、算子调优、Shuffle调优、JVM调优、数据倾斜方面的调优等知识点
spark调优详解
hgy0403的博客
08-19 1459
本文参考中华石杉老师的课程总结。后面一部分是总结了一下当spark必须要按列处理时的调优方式。 1、spark调优之分配更多资源 /usr/local/spark/bin/spark-submit \ --class cn.spark.sparktest.core.WordCountCluster \ --num-executors 3 \  配置executor的数量 --driver...
Spark性能优化
Bryce_Loski的博客
10-28 1055
Spark性能优化 最新文章访问我的博客：http://bryce-loski.github.io/ 在大数据处理过程中，涉及到最多的就是性能优化。这个也是大数据场景的重点与难点。 本文将从常见的几个方面与实现spark的优化 常规性能调优 1.1 常规性能调优一：最优资源配置   Spark性能调优的第一步，就是为任务分配更多的资源，在一定范围内，增加资源的分配与性能的提升是成正比的，实现了最优的资源配置后，在此基础上再考虑进行后面论述的性能调优策略。    资源的分配在使用脚本提交Spark任务时进行指
Spark性能调优指南来了！
笑看风云路的博客
07-31 2391
Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。Spark Core：实现了Spark的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark Core中还包含了对弹性分布式数据集(，简称RDD)的API定义。Spark SQL：是Spark用来操作结构化数据的程序包。通过Spark SQL，我们可以使用SQL或者版本的HQL来查询数据。Spark SQL支持多种数据源，比如Hive表、Parquet以及JSON等。本文首先讲解了Spark的底层的Shuffle。
spark executor的个数和并行任务的个数优化 spark优化
qq_41018861的博客
10-07 4161
spark executor的个数和并行任务的个数合理的core，memory比例以及并行度是能显著提升spark执行效率。也是spark优化的一个重点 spark executor 数量 指定spark executor 数量的公式 executor_num = spark.cores.max/spark.executor.cores 参数说明： spark.cores.max 是指你的spark程序需要的总核数 spark.executor.cores 是指每个executor需要的核数 .
【Spark】Spark调优（一）
qq_43744420的博客
03-20 1602
Spark任务调优以及相关参数
spark中num-executors，executor-cores，executor-memory调参的艺术
qq_31957747的博客
10-26 4302
在跑Spark-On-Yarn程序的时候，往往会对几个参数（num-executors，executor-cores，executor-memory等）理解很模糊，从而凭感觉地去指定值，这是不符合有追求程序员信仰的。因此，搞懂它们，很有必要。 本文翻译自https://spoddutur.github.io/spark-notes/distribution_of_executors_cores_and_memory_for_spark_application.html。 译文如下： 是否曾经想要知道如何
Spark优化
weixin_39458365的博客
10-05 154
stage的task在运行的时候，可能要从一些Executor中去拉取shuffle map output文件，但是Executor可能已经由于内存溢出挂掉了，其关联的BlockManager也没有了，这就可能会报出shuffle output file cannot find，executor lost，task lost，out of memory等错误，此时，就可以考虑调节一下Executor的堆外内存，也就可以避免报错，与此同时，堆外内存调节的比较大的时候，对于性能来讲，也会带来一定的提升。
如何为Spark应用程序分配--num-executors，--execuor-cores和--executor-memory
abc33880238的博客
03-01 2262
文章目录 前言 一些资源参数设置的基本知识 不同配置的优劣分析 第一种方法：使用较小的executors 第二种方法：使用较大的executors 第三种方法：使用优化的executors 前言 在我们提交spark程序时，应该如何为Spark集群配置–num-executors， - executor...
spark调优参数zoukankna
09-08
Spark调优参数是为了提高Spark应用程序的性能和效率。使用适当的参数可以优化任务的执行，提升Spark集群的吞吐量和响应时间。 一些常见的Spark调优参数包括： 1. spark.executor.memory：指定每个Executor的内存...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值