spark 性能调优

已于 2022-05-25 21:34:54 修改
阅读量594 收藏 2
点赞数
分类专栏： # Spark 文章标签： spark big data 大数据
于 2019-09-20 13:28:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiamaocheng/article/details/101057810
版权

总结一下个人看了一些Spark性能调优文章之后的理解，主要框架来自于meituantech，会在此框架上加入个人关注点，目录如下，

0. Overview
1. 开发调优
   - 避免创建重复的RDD
   - 尽可能复用同一个RDD
   - 对多次使用的RDD进行持久化
   - 尽量避免使用shuffle类算子
   - 使用map-side预聚合的shuffle操作
   - 使用高性能的算子
   - 广播大变量
   - 使用Kryo优化序列化性能
   - 优化数据结构
2. 资源参数调优
   - 运行时架构
   - 运行流程
   - 调优
     - executor配置
     - driver配置
     - 并行度
     - 网络超时
     - 数据本地化
     - JVM/gc配置
3. 数据倾斜调优
   - 使用Hive ETL预处理数据
   - 过滤少数导致倾斜的key
   - 提高shuffle操作的并行度
   - 两阶段聚合
   - 将reduce join转为map join
   - 使用随机前缀和扩容RDD进行join
4. Shuffle调优
   - shuffle原理
   - shuffle演进
   - 调优
   - join类型
5. 其他优化项
   - 使用DataFrame/DataSet
6. Reference

Overview

Spark的瓶颈一般来自于集群(standalone, yarn, mesos, k8s)的资源紧张，CPU，网络带宽，内存。通过都会将数据序列化，降低其内存memory和网络带宽shuffle的消耗。

Spark的性能，想要它快，就得充分利用好系统资源，尤其是内存和CPU：核心思想就是能用内存cache就别spill落磁盘，CPU 能并行就别串行，数据能local就别shuffle。 ----xrzs

开发调优

  1. 避免创建重复的RDD

    • 比如多次读可以persist；但如果input太大，persist可能得不偿失

  2. 尽可能复用同一个RDD

    • 但是如果rdd的lineage太长，最好checkpoint下来，避免长重建

  3. 对多次使用的RDD进行持久化

    • 持久化级别（SER，MEM，DISK，_N）

  4. 尽量避免使用shuffle类算子

    • shuffle算子如distinct（实际调用reduceByKey）、reduceByKey、aggregateByKey、sortByKey、groupByKey、join、cogroup、repartition等，入参中会有一个并行度参数numPartitions
    • shuffle过程中，各个节点上的相同key都会先写入本地磁盘文件中，然后其他节点需要通过网络传输拉取各个节点上的磁盘文件中的相同key

  5. 使用map-side预聚合的shuffle操作

    • reduceByKey(combiner)，groupByKey(没有combiner)

       

      without combiner

       

      with combiner

  6. 使用高性能的算子

    • 使用reduceByKey/aggregateByKey替代groupByKey
    • 使用mapPartitions替代普通map
      • 特别是在写DB的时候，避免每条写记录都new一个connection；推荐是每个partition new一个connection；更好的是new connection池，每个partition从中取即可，减少partitionNum个new的消耗
    • 使用foreachPartitions替代foreach
    • 使用filter之后进行coalesce操作
      • 减少小文件数量
    • 使用repartitionAndSortWithinPartitions替代repartition与sort类操作
      • 一边进行重分区的shuffle操作，一边进行排序

  7. 广播大变量

    • 广播变量是executor内所有task共享的，避免了每个task自己维护一个变量，OOM

  8. 使用Kryo优化序列化性能

  9. 优化数据结构

    • 原始类型(Int, Long)
    • 字符串，每个字符串内部都有一个字符数组以及长度等额外信息
    • 对象，每个Java对象都有对象头、引用等额外的信息，因此比较占用内存空间
    • 集合类型，比如HashMap、LinkedList等，因为集合类型内部通常会使用一些内部类来封装集合元素，比如Map.Entry
    • 尽量使用字符串替代对象，使用原始类型（比如Int、Long）替代字符串，使用数组替代集合类型，这样尽可能地减少内存占用，从而降低GC频率，提升性能

资源参数调优

运行时架构

spark runtime architecture From Spark in Action

  • Client：客户端进程，负责提交作业
  • Driver/SC：运行应用程序/业务代码的main()函数并且创建SparkContext，其中创建SparkContext的目的是为了准备Spark应用程序的运行环境。在Spark中由SparkContext负责和ClusterManager/ResourceManager通信，进行资源的申请、任务的分配和监控等；当Executor部分运行完毕后，Driver负责将SparkContext关闭。通常用SparkContext代表Drive
    • SparkContext：整个应用程序的上下文，控制应用的生命周期
    • DAGScheduler： 实现将Spark作业分解成一到多个Stage，每个Stage根据RDD的Partition个数决定Task的个数，然后生成相应的Task set放到TaskScheduler中
    • TaskScheduler：分配Task到Executor上执行，并维护Task的运行状态
  • Executor：应用程序Application运行在Worker节点上的一个进程，该进程负责运行Task，并且负责将数据存在内存或者磁盘上。在Spark on Yarn模式下，其进程名称为CoarseGrainedExecutorBackend，负责将Task包装成taskRunner，并从线程池中抽取出一个空闲线程运行Task。每个CoarseGrainedExecutorBackend能并行运行Task的数量就取决于分配给它的CPU的个数
  • Job：一个job包含多个RDD及作用于相应RDD上的各种Operation。每执行一个action算子（foreach, count, collect, take, saveAsTextFile）就会生成一个 job
  • Stage：每个Job会被拆分很多组Task，每组Task被称为Stage，亦称TaskSet。一个作业job分为多个阶段stages（shuffle，串行），一个stage包含一系列的tasks（并行）
  • Task：被送往各个Executor上的执行的内容，task之间无状态传递，可以并行执行

运行流程

  1. client向YARN的ResourceManager/RM申请启动ApplicationMaster/AM（单个应用程序/作业的资源管理和任务监控）

  2. RM收到请求后，在集群中选择一个NodeManager，为该应用程序分配第一个Container，spark在此启动其AM，其中AM进行SparkContext/SC/Driver初始化启动并创建RDD Object、DAGScheduler、TASKScheduler

  3. SC根据RDD的依赖关系构建DAG图，并将DAG提交给DAGScheduler解析为stage。Stages以TaskSet的形式提交给TaskScheduler，TaskScheduler维护所有TaskSet，当Executor向Driver发送心跳时，TaskScheduler会根据其资源剩余情况分配相应的Task，另外TaskScheduler还维护着所有Task的运行状态，重试失败了的Task

  4. AM向RM申请container资源，资源到位后便与NodeManager通信，要求它在获得的Container中(executor)启动CoarseGrainedExecutorBackend，CoarseGrainedExecutorBackend启动后会向AM中的SC注册并申请Task

  5. AM中的SC分配Task给CoarseGrainedExecutorBackend/executor执行，CoarseGrainedExecutorBackend运行Task并向AM汇报运行的状态和进度，以便让AM随时掌握各个task的运行状态，从而可以在任务失败时重新启动任务或者推测执行

  6. 应用程序运行完成后，AM向RM申请注销并关闭自己

调优

  1. executor配置
    • spark.executor.memory
    • spark.executor.instances
    • spark.executor.cores
  2. driver配置
    • spark.driver.memory（如果没有collect操作，一般不需要很大，1~4g即可）
    • spark.driver.cores
  3. 并行度
    • spark.default.parallelism (used for RDD API)
    • spark.sql.shuffle.partitions (usef for DataFrame/DataSet API)
  4. 网络超时
    • spark.network.timeout (所有网络交互的默认超时)
  5. 数据本地化
  6. JVM/gc配置
    • spark.executor.extraJavaOptions
    • spark.driver.extraJavaOptions

数据倾斜调优

数据倾斜，key=hello过多

  1. 使用Hive ETL预处理数据
    • 治标不治本（利用了mr的走disk特性），还多了一条skew pipeline
  2. 过滤少数导致倾斜的key
    • 但有些场景倾斜是常态
  3. 提高shuffle操作的并行度

    • 让每个task处理比原来更少的数据（之前可能task会%parNum分到2个key），但是如果单key倾斜，方法失效

       

      单个task分到的key少了

  1. 两阶段聚合（局部聚合+全局聚合）

    • 附加随机前缀 -> 局部聚合 -> 去除随机前缀 -> 全局聚合

    • 适用于聚合类shuffle（计算sum，count），但是对于join类shuffle不适用

       

      两阶段聚合

  2. 将reduce join转为map join

    • 适用于join类shuffle，因为shuffle变成map操作了
    • 只适用于一个大表和一个小表，将小表广播，并不适合两个都是大表

  3. 使用随机前缀和扩容RDD进行join

    • leftDf添加随机前缀(1~N的)；复制rightDf每条record至N条并依次打上前缀(1~N)
    • 缺点是复制后的rightDf增大了N-1倍

Shuffle调优

shuffle原理

  • Spark在DAG阶段以宽依赖shuffle为界，划分stage，上游stage做map task，每个map task将计算结果数据分成多份，每一份对应到下游stage的每个partition中，并将其临时写到磁盘，该过程叫做shuffle write
  • 下游stage做reduce task，每个reduce task通过网络拉取上游stage中所有map task的指定分区结果数据，该过程叫做shuffle read，最后完成reduce的业务逻辑
  • 下图中，上游stage有3个map task，下游stage有4个reduce task，那么这3个map task中每个map task都会产生4份数据。而4个reduce task中的每个reduce task都会拉取上游3个map task对应的那份数据

shuffle From iteblog_hadoop

shuffle演进

  1. <0.8 hashBasedShuffle
    • 每个map端的task为每个reduce端的partition/task生成一个文件，通常会产生大量的文件，伴随大量的随机磁盘IO操作与大量的内存开销M*R
  2. 0.8.1 引入文件合并File Consolidation机制
    • 每个executor为每个reduce端的partition生成一个文件E*R
  3. 0.9 引入External AppendOnlyMap
    • combine时可以将数据spill到磁盘，然后通过堆排序merge
  4. 1.1 引入sortBasedShuffle
    • 每个map task不会为每个reducer task生成一个单独的文件，而是会将所有的结果写到一个文件里，同时会生成一个index文件，reducer可以通过这个index文件取得它需要处理的数据M
  5. 1.4 引入Tungsten-Sort Based Shuffle
    • 亦称unsafeShuffle，将数据记录用序列化的二进制方式存储，把排序转化成指针数组的排序，引入堆外内存空间和新的内存管理模型
  6. 1.6 Tungsten-sort并入Sort Based Shuffle
    • 由SortShuffleManager自动判断选择最佳Shuffle方式，如果检测到满足Tungsten-sort条件会自动采用Tungsten-sort Based Shuffle，否则采用Sort Based Shuffle
  7. 2.0 hashBasedShuffle退出历史舞台
    • 从此Spark只有sortBasedShuffle

调优

shuffle是一个涉及到CPU（序列化反序列化）、网络IO（跨节点数据传输）以及磁盘IO（shuffle中间结果落盘）的操作。所以用户在编写Spark应用程序的过程中应当尽可能避免shuffle算子和考虑shuffle相关的优化，提升spark应用程序的性能。

要减少shuffle的开销，主要有两个思路，

  • 减少shuffle次数，尽量不改变key，把数据处理在local完成
  • 减少shuffle的数据规模
  1. 先去重，再合并
    • A.union(B).distinct() vs. A.distinct().union(B.distinct()).distinct()
  2. 用broadcast + filter来代替join
  3. spark.shuffle.file.buffer
    • 设置shuffle write task的buffer大小，将数据写到磁盘文件之前，会先写入buffer缓冲中，待缓冲写满之后，才会溢写到磁盘
  4. spark.reducer.maxSizeInFlight
    • 设置shuffle read task的buffer大小，决定了每次能够拉取pull多少数据。减少拉取数据的次数，也就减少了网络传输的次数
  5. spark.shuffle.sort.bypassMergeThreshold
    • shuffle read task的数量小于这个阈值（默认是200），则map-side/shuffle write过程中不会进行排序操作

Spark的join类型

Shuffled Hash Join
Sort Merge Join
Broadcast Join

sql joins From JAMES CONNER

其他优化项

  1. 使用DataFrame/DataSet
    • spark sql 的catalyst优化器，
    • 堆外内存（有了Tungsten后，感觉off-head没有那么明显的性能提升了）

spark api演进

TypeRDDDataFrameDataSet
definitionRDD是分布式的Java对象的集合DataFrame是分布式的Row对象的集合DataSet是分布式的Java对象的集合
ds = df.as[ElementType]
df = Dataset[Row]
pros* 编译时类型安全
* 面向对象的编程风格		* 引入schema结构信息
* 减少数据读取，优化执行计划，如filter下推，剪裁
* off-heap堆外存储		* Encoder序列化
* 支持结构与非结构化数据
* 和rdd一样，支持自定义对象存储
* 和dataframe一样，支持结构化数据的sql查询
* 采用堆外内存存储，gc友好
* 类型转化安全，代码有好
cons* 对于结构化数据不友好
* 默认采用的是java序列化方式，序列化结果比较大，而且数据存储在java堆内存中，导致gc比较频繁
* rdd内部数据直接以java对象存储，dataframe内存存储的是Row对象而不能是自定义对象
* 编译时不能类型转化安全检查，运行时才能确定是否有问题		* 可能需要额外定义Encoder
执于代码
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark性能调优
09-30
spark性能调优的一些总结，面试时很实用哦，欢迎大家踊跃下载
Spark性能调优
02-26
摘要：通常我们对一个系统进行性能优化无怪乎两个步骤——性能监控和参数调整，本文主要分享的也是这两方面内容。通常我们对一个系统进行性能优化无怪乎两个步骤——性能监控和参数调整，本文主要分享的也是这两方面...
Spark sql 数据倾斜解决
qq_43137264的博客
09-18 1317
一次数据查询，简单的表关联，在某个stage 长时间running 查看Spark ui ，发现 两阶段 inputsize 相差巨大，有明显数据倾斜 解决： 其中一个表为维度表，数据量较小考虑 提供map join 判断阀值 set spark.sql.autoBroadcastJoinThreshold = 838861000; 提高广播表的大小，适当牺牲空间换查询性能， set spar...
万字详解Spark 性能调优（建议收藏）
VgfCbzgNIP32
07-02 465
spark 调优
spark调优详解
hgy0403的博客
08-19 1456
本文参考中华石杉老师的课程总结。后面一部分是总结了一下当spark必须要按列处理时的调优方式。 1、spark调优之分配更多资源 /usr/local/spark/bin/spark-submit \ --class cn.spark.sparktest.core.WordCountCluster \ --num-executors 3 \  配置executor的数量 --driver...
SparkSQL优化笔记-Web-UI参数详解
七夏的博客
11-08 2855
1、背景 公司内部有大量SparkSQL任务，很多任务有数据倾斜或者内存分配不合理的情况，此博客记录下优化脚本过程中出现的一些问题及经验 2、WebUi应用介绍 ​​​​​​​ ...
（转载）Spark 性能调优
moose_killer的博客
03-08 357
Spark 性能优化概览： 由于Spark 的计算本质是分布式计算。 Spark程序的性能可能因为集群中的任何因素出现瓶颈：CPU，网络带宽、内存。 如果内存比较紧张，不足以放下所有数据，需要对内存的使用进行性能优化。 比如说：使用一些手段来减少内存消耗。 park的性能优化，其实主要就是在对于内存的使用进行调优。 Spark 性能优化的主要手段： 1、使用高性能的序列化类库 2、优化数据结构 3、RDD持久化、checkpoint 4、使用序列化的持久化级别：MEMORY_ONLY不序列化，MEM
Spark性能优化
Bryce_Loski的博客
10-28 1046
Spark性能优化 最新文章访问我的博客：http://bryce-loski.github.io/ 在大数据处理过程中，涉及到最多的就是性能优化。这个也是大数据场景的重点与难点。 本文将从常见的几个方面与实现spark的优化 常规性能调优 1.1 常规性能调优一：最优资源配置   Spark性能调优的第一步，就是为任务分配更多的资源，在一定范围内，增加资源的分配与性能的提升是成正比的，实现了最优的资源配置后，在此基础上再考虑进行后面论述的性能调优策略。    资源的分配在使用脚本提交Spark任务时进行指
Spark参数调优
xiaozhaoshigedasb的博客
01-06 821
spark.yarn.executor.memoryOverhead 设置堆外内存，当出现超出物理内存使用，被yarn杀死的情况是，需要合理设置这个值，一般设置2G够用了 spark.sql.shuffle.partitions sparksql的shuffle默认的并行度只有200，要想提高并行度，则需要调大这个值，以避免资源浪费或者单个task处理过大的数据，建议设置为总core的三倍 spark.sql.adaptive.enabled 开启自适应机制，建议为true spark.sq..
spark学习笔记（二）——sparkcore-IO（input&output）流（字节流、字符流、缓冲流）
qq_55906442的博客
07-21 440
IO字节流&缓冲流&字符流流流是一种抽象概念，它代表了数据的无结构化传递。按照流的方式进行输入输出，数据被当成无结构的字节序列或字符序列。从流中取得数据的操作称为提取操作，而向流中添加数据的操作称为插入操作。用来进行输入输出操作的流就称为IO流。IO流就是以流的方式进行输入输出。......
Spark 超大数据量下OOM的解决
Du939的博客
02-21 1956
Spark 超大数据量下OOM的解决
Spark性能优化总结
热门推荐
天道酬勤
11-13 1万+
近期优化了一个spark流量统计的程序，此程序跑5分钟小数据量日志不到5分钟，但相同的程序跑一天大数据量日志各种失败。经优化，使用160 vcores + 480G memory，一天的日志可在2.5小时内跑完，下面对一些优化的思路方法进行梳理。 优化的目标 保证大数据量下任务运行成功降低资源消耗提高计算性能 三个目标优先级依次递减，首要解决的是程序能够跑通大数据量，资源
Spark调优
BigDataCoder的博客
09-10 284
1、开发Spark项目的经验准则    (1)尽量少生成RDD；    (2)尽量少对RDD进行算子操作，如果有可能，尽量在一个算子里面实现多个功能；    (3)尽量少使用发生Shuffle操作的算子，如GroupByKey、ReduceBy...
Spark SQL生产优化经验--任务参数配置模版
weixin_45626756的博客
07-02 1253
特殊case说明：当任务存在扫event_log表时需注意，若对event_log表进行了过滤，且过滤比很高，如下图的case，input为74T，但shuffle write仅为3.5G，那么建议提高单partition的读取数据量，将参数set spark.sql.files.maxPartitionBytes=536870912提高10倍至5368709120；目前测试：在不手动添加任何参数、平均时长在90min以内、单个shuffle 量在2T以下的任务可以使用该模版，但实际任务情况还需跟踪观察。
【Spark内存计算框架】为什么数据会丢失？因为没有去管理偏移量_监听器管理偏移量
一梦
07-23 507
006SparkStreaming怎么去提交偏移量监听器管理偏移量 怎么去提交偏移量 任务运行完，然后提交偏移量。 提交偏移量，首先要知道当前的偏移量offset是多少？偏移量存在哪里？ val messages = km.createDirectStream[String, String, StringDecoder, StringDecoder](ssc, kafkaParams, topicsSet) messages这里面是有偏移量信息的，但是只要对messages这个对象做一下操作，里面偏移量信
深入理解spark web ui
cclovezbf的博客
05-31 1846
背景 某个表 1亿2千万数据 select substring(display_cluster_id,0,1) ,count(1) from odsiadata.ia_fdw_model_result_for_batch_registration_detect_all --where display_cluster_id='3_000000337' group by substring(display_cluster_id,0,1) 这个substring 可以忽略 简单理解为有个group b...
Spark的一些优化点
qq_37283909的博客
05-14 197
因为spark的计算都是基于内存的，他的瓶颈有：cpu，带宽（network bandwidth）,memory。通常情况下，如果数据是在内存里面的，瓶颈就在带宽上面，你也可以做一些其他优化，如RDD序列化（减少内存的使用）。 Data Serialization数据序列化 序列化在我们的分布式应用中扮演了一个非常重要的角色。 默认使用JAVA serialization，比较灵活但是比较慢而且...
使用Pycharm运行spark实例时没有pyspark包（ModuleNotFoundError: No module named ‘py4j‘）
最新发布
哇咔咔哇咔的博客
04-23 240
ModuleNotFoundError: No module named 'py4j'
hive on spark性能调优
10-12
以下是一些 Hive on Spark 的性能调优技巧： 1. 调整 Spark 的内存分配：可以通过调整 Spark 的 executor 内存和 driver 内存来优化 Hive on Spark 的性能。可以通过设置 spark.executor.memory 和 spark.driver....

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值