Spark性能优化一概念篇

最新推荐文章于 2024-11-07 10:08:24 发布

小崔的技术博客

最新推荐文章于 2024-11-07 10:08:24 发布

阅读量379

点赞数

分类专栏：大数据学习文章标签：性能优化 spark 大数据

本文链接：https://blog.csdn.net/qq_40905284/article/details/129310402

版权

大数据学习专栏收录该内容

61 篇文章 20 订阅

订阅专栏

文章详细阐述了Spark中的宽依赖和窄依赖概念，以及它们如何影响RDD分区间的交互和shuffle操作。Stage的划分基于宽依赖，每个Stage由TaskSet组成，提交Spark作业有standalone、YARNclient和cluster模式，其中cluster模式更推荐用于生产环境。

摘要由CSDN通过智能技术生成

（一）宽依赖和窄依赖

窄依赖(Narrow Dependency)：指父RDD的每个分区只被子RDD的一个分区所使用，例如map、filter等
这些算子一个RDD，对它的父RDD只有简单的一对一的关系，也就是说，RDD的每个partition仅仅依赖于父RDD
中的一个partition，父RDD和子RDD的partition之间的对应关系，是一对一的。
宽依赖(Shuffle Dependency)：父RDD的每个分区都可能被子RDD的多个分区使用，例如groupByKey、
reduceByKey，sortBykey等算子，这些算子其实都会产生shuffle操作。也就是说，每一个父RDD的partition中的数据都可能会传输一部分到下一个RDD的每个partition中。此时就会出现，父RDD和子RDD的partition之间，具有错综复杂的关系，那么，这种情况就叫做两个RDD之间是宽依赖，同时，他们之间会发生shuffle操作。

最左侧是linesRDD，这个表示我们通过textFile读取文件中的数据之后获取的RDD，接着是我们使用flatMap算子，对每一行数据按照空格切开，然后可以获取到第二个RDD，这个RDD中包含的是切开的每一个单词

在这里这两个RDD就属于一个窄赖，因为父RDD的每个分区只被子RDD的一个分区所使用，也就是说，他们的分区是一对一的，这样就不需要经过shuffle了。

接着是使用map算子，将每一个单词转换成(单词,1)这种形式，此时这两个RDD也是一个窄依赖的关系，父RDD的分区和子RDD的分区也是一对一的。最后我们会调用reduceByKey算子，此时会对相同key的数据进行分组，分到一个分区里面，并且进行聚合操作，此时父RDD的每个分区都可能被子RDD的多个分区使用，那这两个RDD就属于宽依赖了。

(二）Stage

spark job是根据action算子触发的,遇到action算子就会起一个job

注意：

stage的划分依据就是看是否产生了shuflle(即宽依赖),遇到一个shuffle操作就划分为前后两个stage。
stage是由一组并行的task组成，stage会将一批task用TaskSet来封装，提交给TaskScheduler进行分配，最后发送到Executor执行。

注意：Stage的划分规则：从后往前，遇到宽依赖就划分Stage

（三）Spark Job的三种提交方式

第一种，standalone模式，基于Spark自己的standalone集群。
指定–master spark://bigdata01:7077
第二种，是基于YARN的client模式。
指定–master yarn --deploy-mode client
这种方式主要用于测试，查看日志方便一些，部分日志会直接打印到控制台上面，因为driver进程运行在本地客户端，就是提交Spark任务的那个客户端机器，driver负责调度job，会与yarn集群产生大量的通信，一般情况下Spark客户端机器和Hadoop集群的机器是无法内网通信，只能通过外网，这样在大量通信的情况下会影响通信效率，并且当我们执行一些action操作的时候数据也会返回给driver端，driver端机器的配置一般都不高，可能会导致内存溢出等问题。
第三种，是基于YARN的cluster模式。【推荐】
指定–master yarn --deploy-mode cluster
这种方式driver进程运行在集群中的某一台机器上，这样集群内部节点之间通信是可以通过内网通信的，并且集群内的机器的配置也会比普通的客户端机器配置高，所以就不存在yarn-client模式的一些问题了，只不过这个时候查看日志只能到集群上面看了，这倒没什么影响。