![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Spark
文章平均质量分 85
关于spark的学习、使用、优化、二次开发的经验分享
郭朝阳@
一起交流学习,个人邮箱:15301143823@163.com。
展开
-
Spark sql实现自定义函数
Spark sql实现自定义函数文章目录一、为什么要自定义function?二、实现自定义的函数三、测试效果总结一、为什么要自定义function?有小伙伴可能会疑问:Spark Sql提供了编写UDF和UDAF的接口扩展,为什么还有开发自定义函数呢?虽然Spark SQL 提供了UDF和UDAF,但是当我们想要实现 原生函数一样的功能比如:语义参数 ,可变参数等 功能时候,UDF和UDAF就无法满足。例如 我们想要实现类似于substr这样的函数, udf就无法实现, 其中的参数 ‘Spa原创 2021-06-05 15:21:02 · 1075 阅读 · 3 评论 -
Spark Sql源码详细分析
Spark Sql 源码分析文章目录Spark Sql 源码分析一、SparkSQL架构设计二、代码分析1. Demo2、 Catalyst执行过程三、执行计划分析1、sql解析阶段 Parser2、绑定逻辑计划Analyzer3、逻辑优化阶段Optimizer4、生成可执行的物理计划阶段Physical Plan5、代码生成阶段7.生成代码与sql解析引擎的区别8.表达式代码生成(expression codegen)9.全阶段代码生成(Whole-stage Code Generation)10.代码原创 2021-05-09 18:29:01 · 608 阅读 · 3 评论 -
Spark Sql JDBC实现 聚合、union、同数据源Join等下推
Spark Sql JDBC实现 聚合、union、同数据源Join等下推简单熟悉下Spark Sql 处理JDBC数据源数据spark Sql处理JDBC数据源的代码比较简单,大家可以自行阅读官网使用demo。个人觉得比较鸡肋的地方单元测试如下:说明: emp,dept两个表是通过spark 读取mysql的同一个库的两张表 test("selectSubQuery"){ val sql = """ |select * |from原创 2021-05-09 16:55:31 · 1495 阅读 · 11 评论