![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark_sql
Moonset1995
这个作者很懒,什么都没留下…
展开
-
Spark sql HLL函数
HLL函数:预估函数:presto_estimate_prepare(预估计算)合并函数:presto_estimate_merge(创建binary格式数据,用于后续计算)计算函数:presto_estimate_compute(对binary格式数据进行计算,类似拟合计算count distinct)概念说明:https://www.bookstack.cn/read/Doris/spilt.9.spilt.7.11.md --presto_estimate_compute(`hll_arry原创 2022-01-21 10:15:39 · 1756 阅读 · 0 评论 -
sparksql偷懒用笔记
填充数据列空值:coalesce(XXXX,0)步长设定:concat(string((ceil(1.0*money/${价格步长})-1)*${价格步长}) , '-' , string((ceil(1.0*money/${价格步长}))*${价格步长}))时间段:concat(string('${start_time_1}' ) , '-' , string('${end_time_1}' ) )获取当前日期所在周数:weekofyear(get_date(dt))展开合并数据库单元格数原创 2022-01-14 11:51:27 · 515 阅读 · 0 评论 -
sparksql常用计算函数
常用函数原创 2022-01-14 11:42:10 · 4977 阅读 · 1 评论 -
Spark sql根据开始和结束时间填充时序表
SELECT DISTINCT goods_id ,get_dt_date(start_time,i) as new_dt --根据i进行日期的填充from (SELECT goods_id ,get_dt_date(start_time) AS `start_time` ,get_dt_date(end_time) AS `end_time` FROM temp_db.table_name WHERE get_dt_date(en原创 2022-01-13 12:30:37 · 1591 阅读 · 0 评论 -
sparksql获取partitions信息(show partitions只能展示不能被条件调用)
A、获取最新分区信息(show无法被直接调用获取,只能展示信息) select get_recent_partition('表格名称','表格分区名')B、展示分区所有信息 show partitions table_name原创 2021-11-02 11:33:37 · 2267 阅读 · 0 评论