Spark SQL 源码分析系列文章

最新推荐文章于 2024-09-19 13:04:08 发布
置顶 最新推荐文章于 2024-09-19 13:04:08 发布
阅读量3.5w 收藏 78
点赞数 12
分类专栏： spark Spark SQL源码分析系列 文章标签： spark sql spark catalyst sql hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/oopsoom/article/details/38257749
版权
这是一系列关于Spark SQL的源码分析文章汇总，涵盖了从SqlParser到Physical Plan的详细解析，包括Catalyst、Analyzer、Optimizer、UDF、In-Memory Columnar Storage和External DataSource等关键模块。通过阅读源码，有助于提升对Spark SQL的理解和使用水平。
摘要由CSDN通过智能技术生成
最低0.47元/天 解锁文章
OopsOutOfMemory
关注
专栏目录
Hudi Spark SQL源码学习总结-Create Table
主要分享大数据相关的知识，如Spark、Hudi
07-22 1737
简要总结HudiSparkSql源码执行逻辑，从建表开始。其实从去年开始接触Hudi的时候就研究学习了HudiSparkSQL的部分源码，并贡献了几个PR，但是完整的逻辑有些地方还没有完全梳理清楚，所以现在想要从头开始学习，搞懂一些知识难点，这样以后看相关源码的时候就不会导致因为一些关键点不懂影响进度。由于本人能力和精力有限，本文只讲解自己觉得比较关键的点，主要目的是梳理整个流程。搞懂了SparkSQL默认的sqlParser为,那么Hudi是一样的吗？那我们就需要看一下开始的这里的f为为。...
Spark SQL 源码分析之 In-Memory Columnar Storage 之 cache table
u013939918的博客
07-30 715
Spark SQL 可以将数据缓存到内存中，我们可以见到的通过调用cache table tableName即可将一张表缓存到内存中，来极大的提高查询效率。 这就涉及到内存中的数据的存储形式，我们知道基于关系型的数据可以存储为基于行存储结构 或 者基于列存储结构，或者基于行和列的混合存储，即Row Based Storage、Column Based Storage、 PAX Storage。 Spark SQL 的内存数据是如何组织的？ Spark SQL 将数据加载到内存是...
Spark-Sql源码解析
08-22
详细描述了Spark-sql的原理，从sql语句如何转换为逻辑计划，然后是物理计划，最后是rdd
spark sql源码浅析
qq_31407011的博客
02-16 418
spark 源码简单分析 sparksql 作为新增加的spark1.0所支持的lib库中唯一新增加的lib库，可见其重要地位。 分析内容： spark sql执行流程; hive on spark 和 hive on hadoop 的比较； spark sql执行流程分析 首先我们来分析下sql的通用执行过程： 比如说： select n1,n2,n3 from tableN wher...
Spark-累加器源码分析
最新发布
lu070828的博客
09-19 1083
1、通过SparkContext创建累加器（LongAccumulator、DoubleAccumulator、CollectionAccumulator）2、在Driver端注册累加器（累加器必须先注册再使用）（其实就是向全局Map中放入了该累加器）3、累加器从0开始计数，在每层Stage对应的Task结束时通过merge方法更新Driver端的累计器4、当一个Job跑完后我们就可以使用累加器变量了，如果是数值型可以拿到总和、累加次数、平均值，如果时集合型可以拿到一个数据序列。
Spark 源码分析
weixin_34167819的博客
08-24 217
2019独角兽企业重金招聘Python工程师标准>>> ...
spark 源码分析
专注Java（全栈）应用开发，求知若渴，虚心若愚，talk is cheap, show me the code.
09-13 397
spark 一、 启动篇 (一) 引子 在spark-shell终端执行 val arr=Array(1,2,3,4)val rdd=sc.makeRDD(arr) rdd.collect 以上3行代码构成了一个完整的spark job执行。 (二) 启动篇 shell模式shell模式下启动入口：org.apache.spark.repl. Main submit模式 ...
Spark SQL Catalyst源码分析之SqlParser
u013939918的博客
07-30 400
/**Spark SQL源码分析系列文章*/ Spark SQL的核心执行流程我们已经分析完毕，可以参见Spark SQL核心执行流程，下面我们来分析执行流程中各个核心组件的工作职责。 本文先从入口开始分析，即如何解析SQL文本生成逻辑计划的，主要设计的核心组件式SqlParser是一个SQL语言的解析器，用scala实现的Parser将解析的结果封装为Catalyst TreeNode ，关于Catalyst这个框架后续文章会介绍。 一、SQL Parser入口 Sq...
Spark SQL Catalyst源码分析之TreeNode Library
u013939918的博客
07-30 396
/**Spark SQL源码分析系列文章*/ 前几篇文章介绍了Spark SQL的Catalyst的核心运行流程、SqlParser，和Analyzer，本来打算直接写Optimizer的，但是发现忘记介绍TreeNode这个Catalyst的核心概念，介绍这个可以更好的理解Optimizer是如何对Analyzed Logical Plan进行优化的生成Optimized Logical Plan，本文就将TreeNode基本架构进行解释。 一、TreeNode类型 ...
spark源码分析
04-15
spark
Spark源码分析
weixin_43866666的博客
12-07 1427
Spark源码分析 Spark on Yarn client Cluster 本质区别，driver位置不同 1)有哪些不同得进程？ 2)分别有什么作用？ 3)Spark作业执行流程是什么样的 跑yarn有 --master yarn CoarseGrainedExecutorBackend 默认executor有两个 CoarseGrainedExecutorBackend SparkSubmit ApplicationMaster 跑Client有 --master client CoarseG
Spark SQL组件源码分析
架构设计
03-22 235
功能 Spark新发布的Spark SQL组件让Spark对SQL有了别样于Shark基于Hive的支持。参考官方手册，具体分三部分： 其一，能在Scala代码里写SQL，支持简单的SQL语法检查，能把RDD指定为Table存储起来。此外支持部分SQL语法的DSL。 其二，支持Parquet文件的读写，且保留Schema。 其三，能在Scala代码里访问Hive元数据，能执行Hive语句，...
Spark SQL之核心源码分析
威少（微笑）
06-26 1660
目录 一：DataFrame lazy特性 二：HiveContext.sql() SQL起始 三：SQLContext.executeSql() 正式执行 四：Spark SQL 具体转换解析分析 一：DataFrame lazy特性 //在用户拿到了封装的 Unresolved LogicalPlan的DataFrame之后 //执行一些 show(),select()...
Spark源码剖析 - 计算引擎
Swordfall的博客
08-10 294
本章导读 RDD作为Spark对各种数据计算模型的统一抽象，被用于迭代计算过程以及任务输出结果的缓存读写。在所有MapReduce框架中，shuffle是连接map任务和reduce任务的桥梁。map任务的中间输出要作为reduce任务的输入，就必须经过shuffle，shuffle的性能优劣直接决定了整个计算引擎的性能和吞吐量。相比于Hadoop的MapReduce，我们可以看到Spark提供...
【Spark】源码分析之spark-submit
Supernova的博客
06-12 834
在客户端执行脚本sbin/spark-submit的时候，通过cat命令查看源码可以看出，实际上在源码中将会执行bin/spark-class org.apache.spark.deploy.SparkSubmit 。在IDEA导入的Spark-Core的源码进行分析。首先Spark会把初始化的参数使用SparkSubmitArguments进行封装，之后对SparkSubmitAction类型进...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值