HQL
wppwpp1
这个作者很懒,什么都没留下…
展开
-
hive 死锁问题解决
1,执行插入order_info表调度是,查看调度任务发生的运行状态,发现order_info表运行失败,导致后续所有依赖该任务暂停。2.查看具体order_info任务的日志,发现该表被锁了,导致数据无法alter table 、rename、insert等操作3. 进行任务重跑,所有发生锁表的任务任务都处于等待状态3.1:为了不影响重要指标产出先将order_info的依赖任务取消,采用优先将后续任务dwd_log_full_di任务跑完, 部分重要指标依赖该表,在运行过程中发...原创 2020-09-01 23:30:04 · 2241 阅读 · 0 评论 -
自定义udf把mysql的表结构自动转换成clickhouse的表结构
1,因业务需求,需要把mysql的数据同步到clickhouse,但是clickhouse建表语法有比较繁琐,故写了一个udf来生成数据package com.crgt;import com.crgecent.common.util.DateUtil;import org.apache.hadoop.hive.ql.exec.UDFArgumentException;import org.apache.hadoop.hive.ql.metadata.HiveException;import原创 2020-07-02 21:07:33 · 1407 阅读 · 3 评论 -
hive的udf通过Waterdrop把hive的数据抽到ClickHouse
1,因业务需要把hive的数据通过WaterDrop抽取到clickhouse,但是每次都要写配置文件,故写一个配置文件自动生成配置信息.1,版本信息:waterdrop版本 :1.5.0spark版本:3.0.0 hive版本: 3.0.02,因为waterdrop抽取hive的分区表有点问题,所以目前只支持非分区表的情况,如果有需要支持分区表,可以修改udf完成支持package com.xxx;import org.apache.hadoop.hive.ql.e..原创 2020-07-02 20:42:47 · 1084 阅读 · 0 评论 -
HQL的like % 语法使用注意点
1,直接使用 会查不出来结果select * from xxtable where user_no like '%05144%' limit 10;2,下面语法可以正常查询出来结果select * from xxtable where user_no like '%'+'05144'+'%' limit 10;...原创 2020-05-08 16:43:59 · 453 阅读 · 0 评论