Spark之SQL高级知识分享(任务提交优化+SparkSQL执行计划解析+Spark版本对比)

最新推荐文章于 2024-08-02 13:40:49 发布
最新推荐文章于 2024-08-02 13:40:49 发布
阅读量1.5k 收藏 3
点赞数
分类专栏： Spark 文章标签： Spark Spark任务提交耗时优化 JobServer Spark SQL执行计划解析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32641659/article/details/90578883
版权

1.普通方式提交任务的缺点以及优化方法。

使用spark-shell/spark-submit脚本提交作业到yarn时：
2exector ：花了一分钟时间
200executor ：会花费更多更多的时间在向yarn申请资源

  • 缺点一：耗费太多的时间用于申请资源上，尤其针对那些小任务（可能任务本身20秒完成）
  • 缺点二：若因为数据倾斜导致部分task一值无法结束，那么即使那些完成任务的task的资源也不会释放
  • 缺点三：默认的Sparl sql join以及aggregation的ShufflePatition数默认是200，若数据有时多有时少，那么定死的参数肯定不合适
  • 缺点四：要处理的数据都有波峰波谷，如何保证波峰资源不吃紧波谷资源不浪费。

**思考：**我们是否将所有的作业共享Spark session以及SparkContext来解决上述的问题？
答案是可以的，社区提供了：JobServer（third-party package） 、Livy（使用不是很理想）这两种服务，当然有技术积累的公司是通过自研方式解决共享Spark session的问题。

2.SparkSQL执行计划

官方对SparkSQl自身解析以及优化有详细的介绍，PDF文档链接：

链接：https
最低0.47元/天 解锁文章
skwang_君永夜
关注
专栏目录
sparksql源码解析(执行计划)
sinat_27545249的博客
12-20 1092
[TOC]1.group by查询select count(*),sum(o_totalprice),o_orderpriority from default.orders where o_orderkey>100 group by o_orderpriority"== Parsed Logical Plan == 'Aggregate ['o_orderpriority], [unresolved
SparkSQL的执行计划详解
weixin_30597269的博客
01-01 377
一：首先将我们从文本中读取的数据映射到表也就是视图 eg: 　　$>cat b.txt 　　1 ded　　2 dsfre　　3 sfs　　4 fr 　　$>val sc = spark.sparkContext 　　　　#创建SparkContext 　　$>val rdd = sc.textFile("file:///home/Alex_lei/b.txt")....
图书《数据资产管理核心技术与应用》核心章节节选-3.1.2. 从Spark 执行计划中获取数据血缘
最新发布
08-02 707
因为数据处理任务会涉及到数据的转换和处理，所以从数据任务中解析血缘也是获取数据血缘的渠道之一，Spark 是大数据中数据处理最常用的一个技术组件，既可以做实时任务的处理，也可以做离线任务的处理。如下图3-1-10所示，在Spark的官方文档链接https://spark.apache.org/docs/latest/sql-ref-syntax-qry-explain.html#content中，有明确提到，可以根据EXPLAIN关键字来获取执行计划，这和很多数据库查看执行计划的方式很类似。
【Spark精讲】一文讲透SparkSQL物理执行计划
话数Science
12-29 2060
【Spark精讲】一文讲透SparkSQL物理执行计划，SparkPlan，LeafExecNode类型，BinaryExecNode类型
spark-sql优化
盛源的博客
04-06 3422
1 任务拆解 1) 原始查询sql(多个etype, 多个dt查询, 数据量过大查询不出来) select dt, etype, count(distinct gazj) from table_name where dt between '20201101' and '20210228' and etype in ('10410007','10410008','10410009') and get_json_object(eparam,...
是时候学习真正的 spark 技术了
weixin_33963189的博客
11-21 174
 spark sql 可以说是 spark 中的精华部分了，我感觉整体复杂度是 spark streaming 的 5 倍以上，现在 spark 官方主推 structed streaming， spark streaming 维护的也不积极了， 我们基于 spark 来构建大数据计算任务，重心也要向 DataSet 转移，原来基于 RDD 写的代码迁移过来，好处是非常大的，尤其是在性能方面，...
spark之sql高级知识分享(任务提交优化+sparksql执行计划解析+spark版本对比)
06-28
Spark之SQL高级知识分享包括三个方面的内容：任务提交优化、SparkSQL执行计划解析和Spark版本对比。 任务提交优化主要是针对Spark应用程序的性能优化，包括调整任务数量、调整并行度、调整内存分配等方面，以提高...
Spark之SQL高级知识分享一(SQL+DataFrame+functions+DataSet)
君永夜
05-26 1017
1.Spark SQL 1.1 常见的SQL On Hadoop框架 hive（及其重要）： 最原始的 on hadoop的方案，由facebook贡献；将sql转化为底层MR/Tez/Spark作业；hive的metastore存储了表和库的所有信息，而且他几乎是和所有on hadoop的框架通用的，hive 2.x.x版本速度上有了很大的提升 impala（生产上很少用）：可以使用hive的...
基于Spark SQL的日志分析+源代码+文档说明
03-28
- 不懂运行，下载完可以私聊问，可远程教学 该资源内项目源码是个人的毕设，代码都测试ok，都是运行成功后才上传资源，答辩评审平均分达到96分，放心下载使用！ <项目介绍> 1、该资源内项目代码都经过测试运行成功，...
揭秘大数据处理利器：Spark SQL的全流程解析鸟瞰
击水三千里的专栏
06-28 950
Spark SQL 结合了 SQL 的易用性和 Spark 的分布式计算能力，通过优化查询计划和内存管理，为大规模数据处理提供了一个强大、灵活且高效的解决方案。
Spark SQL 在字节跳动的优化实践-郭俊.pdf
12-03
Spark 在字节跳动内部扮演着重要角色。在数据仓库领域，Spark SQL 正在逐渐取代 Hive 成为主要的 ETL 计算引擎，另外它还是字节跳动内部重要的 ad-hoc 查询引擎。目前 Spark 每天处理百万亿级数据，单任务 Shuffle 数据量可超过 200TB。同时 Spark 与其它系统混合部署，因此性能与稳定性都是需要重点解决的问题。本次分享将会基于基础架构团队过往的工作成果，介绍字节跳动在提升基于 Spark SQL 的 ETL 稳定性以及优化 ad-hoc 查询的性能方面的实践。
6.SparkSQL（中）--深入了解运行计划及调优.pdf
04-04
1.Spark及其生态圈简介.pdf 2.Spark编译与部署（上）--基础环境搭建.pdf 2.Spark编译与部署（下）--Spark编译安装.pdf 2.Spark编译与部署（中）--Hadoop编译安装.pdf 3.Spark编程模型（上）--概念及SparkShell实战.pdf 3.Spark编程模型（下）--IDEA搭建及实战.pdf 4.Spark运行架构.pdf 5.Hive（上）--Hive介绍及部署.pdf 5.Hive（下）--Hive实战.pdf 6.SparkSQL（上）--SparkSQL简介.pdf 6.SparkSQL（下）--Spark实战应用.pdf 6.SparkSQL（中）--深入了解运行计划及调优.pdf 7.SparkStreaming（上）--SparkStreaming原理介绍.pdf 7.SparkStreaming（下）--SparkStreaming实战.pdf 8.SparkMLlib（上）--机器学习及SparkMLlib简介.pdf 8.SparkMLlib（下）--SparkMLlib实战.pdf 9.SparkGraphX介绍及实例.pdf 10.分布式内存文件系统Tachyon介绍及安装部署.pdf
SparkSQL物理执行计划各操作实现
03-04
Catalyst作为一个实现无关的查询优化框架，在优化后的逻辑执行计划到真正的物理执行计划这部分只提供了接口，没有提供像Analyzer和Optimizer那样的实现。本文介绍的是SparkSQL组件各个物理执行计划的操作实现。把优化后的逻辑执行计划映射到物理执行操作类这部分由SparkStrategies类实现，内部基于Catalyst提供的Strategy接口，实现了一些策略，用于分辨logicalPlan子类并替换为合适的SparkPlan子类。SparkPlan继承体系如下。接下里会具体介绍其子类的实现。主要三部分：LeafNode、UnaryNode、BinaryNode各自的实现类
Spark SQL / Catalyst 内部原理 与 RBO
weixin_30399797的博客
09-14 229
本文转发自技术世界，原文链接　http://www.jasongj.com/spark/rbo/ 本文所述内容均基于 2018年9月10日 Spark 最新 Release 2.3.1 版本。后续将持续更新 Spark SQL 架构 Spark SQL 的整体架构如下图所示 从上图可见，无论是直接使用 SQL 语句还是使用 DataFrame，都会经过如下步骤转换成 DA...
动态调整spark sql执行计划
weixin_42450619的博客
03-28 769
1 固定执行计划的不足 在不开启 Adaptive Execution 之前，执行计划一旦确定，即使发现后续执行计划可以优化，也不可更改。如下图所示，SortMergJoin 的 Shuffle Write 结束后，发现 Join 一方的 Shuffle 输出只有 46.9KB，仍然继续执行 SortMergeJoin 此时完全可将 SortMergeJoin 变更为 BroadcastJoin...
Spark SQL性能优化
weixin_34121282的博客
06-17 108
2019独角兽企业重金招聘Python工程师标准>>> ...
SparkSQL执行流程、SQL执行计划、集成hive、内存分配
Geek白先生的博客
09-21 568
SparkSQL执行流程 1.SQL执行过程 select f1,f2,f3 from table_name where condition Step1-Parse(解析)： 首先，根据SQL语法搜素关键字(select、from、where、group by等等)，标志出projection、DataSource、filter Step2-Bind(绑定)： 通过解析阶段的相关内容(projec...
spark提交任务启动参数调优
无恋-zx的博客
09-06 1085
//指定spark运行模式 spark.master = spark://master:7707 //指定spark程序运行内存 spark.executor.memory = 2000M //指定spark申请管理的内存(executorMemory基于driverMemory调整) spark.driver.memory =8000M //指定一个executor占用cpu核数(一个节...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值