hive
文章平均质量分 56
大树的困惑
这个作者很懒,什么都没留下…
展开
-
HIVE 非等值连接的解决思路
HIVE 非等值连接的解决思路hive低版本并不支持非等值连接,在表与表通过join关键字进行连接时,on 后面接的条件需要是区间式的话比如:SELECT A.COL , B.COL FROM TABLEA ALEFT JOIN TABLEB BON A.DATE<B.DATE;这样的连接条件在hivesql中是会报错的.这里提供一种解决思路背景:要统计每个基金每天的基金净值情况,如果当天没有净值数据的话,取最近一天存在净值数据的日期的数据作为当天的数据换句话说只要原创 2021-04-15 21:35:35 · 4526 阅读 · 1 评论 -
SQL取日期为当前月份的第几周思路
问题背景获取每个月的第几周包含跨年问题当前有一份从20010101到20201231的数据,现在需要获得每个日期对应在每个月中的第几周,为了实现日历展示的那种格式展示对应日期所在的是该月份的第几周。**多种日期格式:**to_char(date,‘XXXX’)YYYY:四位表示的年份YYY,YY,Y:年份的最后三位、两位或一位,缺省为当前世纪IYYY:ISO标准的四位年份MM:01~12的月份编号MON:缩写字符集表示MONTH:全拼字符集表示的月份,右边用空格填补Q:季度W:当月原创 2021-04-06 19:08:53 · 10350 阅读 · 4 评论 -
拉链表的使用场景
拉链表的使用场景拉链表,在面对处理的数据量比较大的时候,可以经常听说到,其主要的核心在于通过设置两个字段作为数据是否有效性的开关(begin_date,end_date)这样做的目的是保证在表的数据,在某一个时间区间内(时间粒度得统一,月,日,时,分…)有且仅有一条有效的数据下面介绍一种使用场景背景 表t_vip_bal_info 用于记录某商户的vip用户的账户余额,当余额有变动时才会有数据且每天(时间粒度为天)最多仅有单条数据用户每当有新的余额变动时,旧的余额相对于当前就没用了,所原创 2021-04-01 10:56:52 · 2507 阅读 · 0 评论 -
某小伙的Antlr4学习笔记
概览作为一款语言识别工具,它可以解析(自定义)规则的语句,生成执行树分有几个阶段1.词法分析阶段 (lexical analysis)根据我们定义的词法解析出我们对应的关键词出来2.解析阶段根据我们定义的语法对解析出来的词进行构建,生成一个语法树应用场景1.定制特定领域语言(DSL)类似hibernate中的HQL,用DSL来定义要执行操作的高层语法,这种语法接近人可理解的语言,由DSL到计算机语言的翻译则通过ANTLR来做,可在ANTLR的结构语言中定义DSL命令具体要执行何种操作原创 2020-12-12 14:46:47 · 2005 阅读 · 1 评论 -
apache Atlas 1.2.0 搭建以及hive的集成
apache Atlas 1.2.0 搭建以及hive的集成简介ps:(官网摘抄)Atlas 是一组可扩展且可扩展的核心基础治理服务,使企业能够高效、高效地满足 Hadoop 内的合规性要求,并允许与整个企业数据生态系统集成。为组织提供开放的元数据管理和治理功能,以构建其数据资产目录,对这些资产进行分类和治理,并为数据科学家、分析师和数据治理团队提供围绕这些数据资产的协作功能。特点:元数据类型和实例各种 Hadoop 和非 Hadoop 元数据的预定义类型能够为要管理的元数据定义新类型类原创 2020-12-05 21:35:34 · 1235 阅读 · 0 评论 -
HIVE函数大全及用例
HIVE函数大全及用例关系运算1、等值比较: =语法:A=B操作类型:所有基本类型描述: 如果表达式A与表达式B相等,则为TRUE;否则为FALSEhive> select 1 from iteblog where 1=1; >1 2、不等值比较: <>语法: A <> B操作类型: 所有基本类型描述: 如果表达式A为NULL,或者表达式B为NULL,返回NULL;如果表达式A与表达式B不相等,则为TRUE;否则为FALSEhive> sel原创 2020-10-20 00:29:59 · 326 阅读 · 2 评论