![](https://img-blog.csdnimg.cn/df5ea2376ba84f62b8805bef0c301ba3.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Spark
Apache Spark使用经验和分享
修破立生
专注大数据技术领域,持续学习和分享者
展开
-
Spark SQL 使用 GROUPING SETS 替代 UNION ALL
使用 GROUPING SETS 实现维度的分组聚合计算原创 2022-09-27 21:29:56 · 1279 阅读 · 0 评论 -
Spark SQL Json 解析函数
Spark SQL Json 解析函数 get_json_object原创 2022-02-18 11:39:18 · 1229 阅读 · 0 评论 -
基于 Ubuntu 玩转 Hudi Docker Demo (3)—— Spark写入和查询
本文介绍 Spark 写入和查询 Hudi 表。包括写入 CopyOnWrite 和 MergeOnRead 类型的 Hudi 表。查询包括 快照查询,读优化查询,增量查询。原创 2022-02-11 19:20:14 · 1214 阅读 · 0 评论 -
Spark依赖包冲突解决
背景:公司选用Apache Beam 用于大数据程序开发; Apache Beam 提供了一系列通用的JAVA API, 通用是指使用Apache Beam开发的程序,可以在不对代码做任何修改的情况下运行在当下流行的计算框架上,如SPARK, FLINK...Beam的程序运行在Spark, 需要依赖Spark,Hadoop 甚至kafka的一些JAR包。如果Beam的程序打成一个fat包, 在...原创 2018-02-12 11:16:00 · 1542 阅读 · 0 评论 -
Spark SQL空值处理函数 coalesce
函数说明coalesce这个英文单词是联合,合并的意思。用于字段空值的处理,譬如,希望把空值转为0。使用方法coalesce(field1, value):意思是如果field1不为null, 则返回field1本身的值,否则,返回value;如: select coalesce(field1, 0), 当field1为null, 则返回0。coalesce可以从左到右依次判定多个字段的值,如下:coalesce(field1, field2, field3, value): 字段的个原创 2022-01-21 14:40:04 · 5140 阅读 · 0 评论 -
Spark SQL如何生成连续的时间序列
本文介绍了Spark SQL生成连续时间序列的写法原创 2022-01-20 12:03:55 · 1311 阅读 · 6 评论