![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
Maple梁
社畜,码农
展开
-
hive函数 lead()和lag()
lead()函数和lag()这两个在实际业务中其实用的并没有那么多,不过在sql的面试当中倒是经常出现需要用到lead()和lag()这两个函数的问题,且通常使用这个函数的案例其实都是取连续的日期,之前硬是靠自关联写了一大堆sql写出来的(汗),今天突然发现了这两个函数,就正好写一下吧使用.lead()函数里面可以输入三个参数:(字段,向前行数,值如果为null的话的补充值)不过这两个一个是取前一条数据,一个是取后一条,我这里拿具体的例子来写一下吧场景1:select day_id a原创 2021-07-30 18:00:21 · 750 阅读 · 0 评论 -
编写sql时如何进行有效自测以及提升数据质量
今天与领导沟通时总结了一下,因为数据这个东西,测试起来很麻烦,但是作为开发,需求做完后我还是得保证数据质量这个问题,所以有效的自测,也应该是一个具体的流程.术语:mapping: 需求文档ods:数仓贴源层,即最开始采集过来的数据dwd:数仓明细层,即对ods进行一定的清洗,转换,补充字段造出得明细表dws:数仓主题层,本层数据多为主题宽表,字段很多,且有一定的聚合操作ads:数仓应用层,本层为应用层数据,是对dws或者dwd进行一定的计算操作得来的,是给用户看的数据,也可以叫报表.原创 2021-07-28 17:16:40 · 690 阅读 · 0 评论 -
beeline连接失败 No current connection
beeline 本身其实是不连接hive的,需要额外的配置。我这里是搭建CDH6.3.1的后配置hive服务遇到的问题beeline进入后输入show tables显示的是No current connection原创 2021-05-29 20:23:54 · 12109 阅读 · 1 评论 -
hive分区删除分区失败,出现$%7Bworkdate}分区且无法删除
最近查看hive表分区时,突然发现有个$%7Bworkdate分区无法删除上网大概查了一下,意思是这个分区原来名字不叫这个,被转码了,所以无法删除所以需要代码alter table tablename drop partition (workdate="${workdate}");其实这个乱码产生的原因是因为把本来写到.sql文件里的sql代码在hive窗口中直接运行分区名称就是"${workdate}"在窗口中运行时没有更改,然后分区的名称就是${workdate},然后显示为$%原创 2020-12-02 16:43:08 · 854 阅读 · 0 评论