Spark SQL源码阅读flag

最新推荐文章于 2024-04-30 12:40:04 发布
最新推荐文章于 2024-04-30 12:40:04 发布
阅读量90 收藏
点赞数
文章标签： spark sql 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45099311/article/details/134064442
版权

一直使用SparkSQL，总是看别人关于Spark SQL的源码解读文章，觉得自己对Spark比较了解深入，但是真正在做一些更深层次的追究时，还是不够的。

并且想从阅读SparkSQL源码开始，学习Spark源码的设计理念思路，学习里面的设计模式、SQL解析方案、SQL优化能力等，深入了解之后，争取能在开源社区领取几个issue解决，也做一次Apache contributer。

今天立下此flag，每天争取抽1到两个小时学习时间，完成对Spark SQL和Hive源码的阅读、标记

加油💪🏻！！！

蚂蚁快跑——
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
SPARKSQL3.0-PhysicalPlan物理阶段源码剖析
探索大数据世界 - 深入解析数据存储、分布式计算与人工智能
11-22 881
SPARKSQL3.0-PhysicalPlan物理阶段源码剖析
spark sql解析-源码分析
03-16
spark-sql解析-源码分析
Spark SQL 工作流程源码解析（二）parsing 阶段（基于 Spark 3.3.0）
Shockang的博客
02-04 4015
前言 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系 目录 Spark SQL 工作流程源码解析（一）总览（基于 Spark 3.3.0） Spark SQL 工作流程源码解析（二）parsing 阶段（基于 Spark 3.3.0） Spark SQL 工作流程源码解析（三）analysis 阶段（基于 Spark 3.3.0） Spark SQL 工作流程源
sparksql源码系列 | 一文搞懂Partitioning源码体系(spark3.2)
xiaoluobutou的专栏
02-16 341
决定要不要添加Exchange节点，主要是靠子节点的outputPartitioning(Partitioning)是否satisfies当前节点requiredChildDistributions(Distribution)来决定
Spark Sql源码详细分析
weixin_43588586的博客
05-09 531
Spark Sql 源码分析 文章目录Spark Sql 源码分析一、SparkSQL架构设计二、代码分析1. Demo2、 Catalyst执行过程三、执行计划分析1、sql解析阶段 Parser2、绑定逻辑计划Analyzer3、逻辑优化阶段Optimizer4、生成可执行的物理计划阶段Physical Plan5、代码生成阶段7.生成代码与sql解析引擎的区别8.表达式代码生成（expression codegen）9.全阶段代码生成（Whole-stage Code Generation）10.代码
spark-sql-dataset源码解析（1）
weixin_53127699的博客
06-02 280
qe表示查询的执行计划，用assertAnalyzed()验证逻辑计划是否已经被分析和优化，然后根据执行计划的元数据（schema），构建一个 RowEncoder 对象，并将其作为参数传入 Dataset 的构造函数中，创建一个新的 Dataset[Row] 对象，并返回。在 doExecute() 方法中，会先通过调用 child.execute() 方法获取输入数据集，然后将输入数据集按照投影列表指定的列进行投影，并返回投影后的数据集作为输出。最后，添加页脚信息，提示是否还有更多的数据。
Spark SQL源码概览.pdf
01-11
Spark SQL 包含 3 个子项目：Core、Catalyst、Hive。其中 Catalyst 是核心的查询优化引 擎，独立于 Spark 平台；Spark SQL Core 封装 Catalyst，向应用程序提供 SparkSession、Dataset、 DataFrame 等 API...
基于 Spark SQL+源代码+文档说明
03-20
该资源内项目源码是个人的毕设，代码都测试ok，都是运行成功后才上传资源，答辩评审平均分达到96分，放心下载使用！ <项目介绍> 1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ ...
Learning Spark SQL epub
10-06
Learning Spark SQL 英文epub 本资源转载自网络，如有侵权，请联系上传者或csdn删除 本资源转载自网络，如有侵权，请联系上传者或csdn删除
Spark SQL分析美国新冠肺炎疫情源码
06-07
包含数据分析、可视化后端、可视化前端三个项目的源码
Spark SQL functions.scala 源码解析（五）Math Functions （基于 Spark 3.3.0）
Shockang的博客
12-21 2996
前言 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系 目录 Spark SQL functions.scala 源码解析（一）Sort functions （基于 Spark 3.3.0） Spark SQL functions.scala 源码解析（二）Aggregate functions（基于 Spark 3.3.0） Spark SQL functions
SparkSql窗口函数源码分析（第一部分）
xiaoluobutou的专栏
02-09 449
窗口函数定义的接口类（在OVER子句或Window子句中指定）WindowSpecDefinition：定义了一个窗口函数应该包含哪些元素（定义了输入行的分区方式（按哪个字段分区）、定义分区内数据的该怎么排序（SortOrder类，按哪个字段排，升序还是降序）、定义了分区中的窗口框架（WindowFrame类））WindowSpecReference：代表引用一个窗口函数，比如下面这种用法，这种写法的好处就是：over 后面内容如果相同的话，可以只用写一次。
SparkSQL源码解析
秋雨行舟
08-11 177
1.Spring是分层的 Java SE/EE应用 full-stack 轻量级开源框架，以 IoC（Inverse Of Control：反转控制）和 AOP（Aspect Oriented Programming：面向切面编程）为内核。 提供了展现层 SpringMVC 和持久层 Spring JDBCTemplate 以及业务层事务管理等众多的企业级应用技术，还能整合开源世界众多著名的第三方框架和类库，逐渐成为使用最多的Java EE 企业应用开源框架。 2.spring的优势： 1）方便解.
sparksql源码解析一：
qq_38680817的博客
12-07 1316
parser调用sqlbaseParser的singleStatement方法，利用anltr4里面的singleStatement来 目前主流的sql解析器有 anltr和calcite，如果使用选择使用anltr，SQL进行查询，首先需要将SQL解析成spark中的抽象语法树（AST）。在spark中是借助开源的antlr4库来解析的。Spark SQL的语法规则文件是：SqlBase.g4。 在生成的文件中SqlBaseBaseListene
详解Spark SQL 底层实现原理(parser、analyzer、optimizer、physical plan)
cjl的博客
10-22 3015
Spark SQL 底层实现原理1. Spark SQL架构设计2. sparkSQL执行过程3. SQL举例4. Catalyst执行过程4.1 sql解析阶段Parser4.2 绑定逻辑计划Analyzer4.3 逻辑优化阶段Optimizer4.3.1 谓词下推4.3.2 列裁剪4.3.3 常量替换4.3.4 常量累加4.4 生成可执行的物理计划阶段Physical Plan4.5 代码生成阶段4.5.1 生成代码与sql解析引擎的区别5. Spark SQL 执行过程总结 1. Spark SQL架
sparksql源码系列 | ResolveReferences规则count(*)详解
xiaoluobutou的专栏
02-20 136
大家想要《sparksql内核心剖析》电子书的话，一定记得后台发 ：sparksql源码 这几个字，不要有空格、不要加-​ ，因为我设置的是精准匹配，看到有好多小伙伴发错了
Spark 为什么比 Hive 快
JIE的博客
04-26 2004
由于 MapReduce 的特性，Hive 在处理大规模数据时可能会出现较高的延迟，因为它需要频繁地将数据写入和读取磁盘，Shuffle 操作会导致花费的时间代价比较大。那么在稳定性方面，Hive 优于 Spark，这是因为在 MR 任务中，数据总是按照块分片进行处理，每块数据都可以独立地读取和处理，并不需要将所有数据都加载到内存中，因此它对内存的需求远低于Spark。由于 Spark 使用的是内存计算，在处理大规模的数据时，需要足够的内存资源，否则可能会发生 OOM 或者导致计算速度非常缓慢。
Apache Spark 的基本概念和在大数据分析中的应用
最新发布
longe20111104的博客
04-30 389
Spark提供了一系列的API和工具，包括Spark Core、Spark SQL、Spark Streaming、MLlib和GraphX等。RDD是一个具有容错性和可并行性的分布式数据集合，它可以在集群中的多个节点上进行并行操作。Spark提供了一个高级的编程接口，使得开发人员可以在一个统一的框架下处理不同类型的数据和任务。因为Spark能够将数据加载到内存中进行处理，所以它在大数据处理中具有较高的性能。Apache Spark是一个开源的大数据处理框架，它提供了高效的数据处理和分析能力。
SQL Server的基本操作示例
weixin_58566539的博客
04-29 507
SQL Server的基本操作示例
spark sql源码分析之核心流程
03-16
Spark SQL的核心流程包括以下几个步骤： 1. 解析SQL语句：Spark SQL首先会将输入的SQL语句解析成一棵抽象语法树（AST），这个过程是通过ANTLR工具实现的。 2. 逻辑计划生成：Spark SQL会将AST转换成逻辑计划...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值