UDF
wppwpp1
这个作者很懒,什么都没留下…
展开
-
flinkSql join redis的hash结构维表简单实现
CREATE TABLE source_table ( --必须和Kafka源表中的5个字段的顺序保持一致。 messageKey VARBINARY, `message` VARBINARY, `topic` VARCHAR, `partition` INT, `offset` BIGINT) WITH ( `type` = 'kafka011', `topic` = 'kafka_test', `group.id` = 'kafka_test_wpp', ...原创 2020-11-20 20:44:31 · 811 阅读 · 0 评论 -
自定义udf把mysql的表结构自动转换成clickhouse的表结构
1,因业务需求,需要把mysql的数据同步到clickhouse,但是clickhouse建表语法有比较繁琐,故写了一个udf来生成数据package com.crgt;import com.crgecent.common.util.DateUtil;import org.apache.hadoop.hive.ql.exec.UDFArgumentException;import org.apache.hadoop.hive.ql.metadata.HiveException;import原创 2020-07-02 21:07:33 · 1415 阅读 · 3 评论 -
hive的udf通过Waterdrop把hive的数据抽到ClickHouse
1,因业务需要把hive的数据通过WaterDrop抽取到clickhouse,但是每次都要写配置文件,故写一个配置文件自动生成配置信息.1,版本信息:waterdrop版本 :1.5.0spark版本:3.0.0 hive版本: 3.0.02,因为waterdrop抽取hive的分区表有点问题,所以目前只支持非分区表的情况,如果有需要支持分区表,可以修改udf完成支持package com.xxx;import org.apache.hadoop.hive.ql.e..原创 2020-07-02 20:42:47 · 1086 阅读 · 0 评论 -
hive udf 获取分区的最大日期
1,因业务需要,需要获取最新的分区时间,本例使用的是20191011格式的分区时间,如果是2019-10-11好像也支持,如select maxpt('default.table1');2,引用的 pom.xml如下properties> <project.build.sourceEncoding>UTF-8</project.build.sourc...原创 2019-10-10 15:03:39 · 3028 阅读 · 0 评论 -
hive udf 写入到redis的Set 集合中
1,因业务需求,需要把hive的数据写入到reids的Set集合中,看网上都是写入到hash的实现,故自己写了一个写入Hash的实现2,需要的pom.xml文件<dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId&...原创 2019-10-10 15:16:06 · 858 阅读 · 0 评论