![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
SQL
TheLittlePython
欢迎关注微信公众号:excelwork
展开
-
使用SQL进行数据分析——窗口函数示例分享
窗口函数在日常的处理分析中必不可少,相关详细介绍可查看之前的文章,大家可在公众号(Excel办公小技巧)首页点击右上角搜索按钮进行搜索。今天主要是有节奏的从使用示例中巩固。【1、从排序开始入门】 学习窗口函数,怎么能错过排序用法使用。从三种排序函数的功能使用中,还可以掌握窗口函数结构,比如分组、排序参数的使用。比如,按订单时间降序排序用户订单数据:1.1 row_number普通排序,重复的编号+1,编号最大值与实际数据行数相同。select *,row...原创 2021-07-04 21:36:39 · 346 阅读 · 0 评论 -
技术小白是这么理解SQL查询时数据倾斜问题的
更多文章,可关注微信公众号:Excel办公小技巧数据倾斜,看字面很简单,但实际还是不知道发生了什么情况。对于像我这样很多非技术类同学,想把技术原理弄懂,可能需要了解很多相关知识才能真正理解,这不太现实。所以,我们需要找到简单而又清晰的理解。相信理读完以下四点,还是对数据倾斜有一个比较清晰的认知的。数据倾斜的理解及优化Q1 什么是数据倾斜?数据倾斜是指,分布式计算时,一些节点计算量高于其他节点,速度很慢,导致其他节点计算完成后,还要等待这些节点完成。Q2 数据倾斜有什么表现?直观上..原创 2021-03-20 15:20:17 · 560 阅读 · 6 评论 -
说一说使用Spark SQL查询数据报错该如何解决
更多文章,可关注微信公众号:excelwork今天介绍的是在使用Spark SQL查询数据遇到的一些常见报错案例,为什么要说这个呢,因为,有些错误,网上搜索得到答案时间太长了。如何快速定位问题?Exception:不啦不啦的一大堆~,熟悉不!?我们只要看Exception冒号后面说的那一句提示就好了,里面会有什么错了、错在哪了的信息。会有哪些报错信息?1/8报错信息:java.sql.SQLException: org.apache.spark.sql.Analysi...原创 2020-11-24 23:42:26 · 24122 阅读 · 2 评论 -
说一说行列变换的latetal view、explode、collect_set、concat_ws等函数用法
更多文章,可关注微信公众号:Excel办公小技巧“我们在使用SQL查询的数据,经常会遇到数据存到同一个字段下,而我们分析数据需要转成多行或多列等,这种问题就需要用到下面用到的函数了。既然写到这个,索性就细致介绍下。”比如我们拿到了这样一份数据,把数据放在表table中:01 行拆分成多行1.1 sale_district字段中的内容拆分成多行显示:explode explode支持对map中每个键值对或array类型中每个元素生成各生成一行; 不支持...原创 2020-09-06 22:41:43 · 777 阅读 · 0 评论 -
SQL数据分析-了解这些,让你的SQL使用更加得心应手
更多文章,可关注微信公众号:Excel办公小技巧前面介绍过SQL基础,包括基础语法、常规函数、窗口函数等,并结合了案例进行的实操,接下来,我们了解下面这些,对我们提升SQL能力、提高数据感知,有一定的帮助。废话不多说,直接开始(hive sql)。01表处理相关1.1查看你在数据库下有哪些表首先使用use函数选定数据库,否则默认数据库,第二步,使用show tables,执行完就能看到数据表的列表了usedatabasename;show tables1.2 查...原创 2020-08-04 22:51:03 · 169 阅读 · 0 评论 -
说说parse_url和正则表达式,在SQL中如何解析字符串
学习更多,欢迎关注微信公众号:Excel办公小技巧SQL作为一种结构化查询语言,方便我们快速拿到大量存储规范的数据。不过我们也会遇到不能直接拿到我们想要的数据格式,比如我们要从URL中拿到某个参数值或是拿到某一字符串中的指定长度,今天我们介绍两个功能来帮助我们:parse_url函数以及正则表达式功能。1. parse_url函数提取URL需求信息1.1 主机HOSTsel...原创 2020-05-06 22:35:09 · 2028 阅读 · 0 评论