一、目的
需要用Kettle从Hive的DWS层库表数据增量同步到ClickHouse的ADS层库表中,不过这次的增量判断字段是day字段,不像之前的create_time字段
因为day字段需要转换类型,而 create_time字段字段不需要转换类型,因此两者的Kettle任务配置有所不同,也踩了一些坑,因此再写一篇博客整理一下,根据day字段判断的情况下kettle如何配置才能从Hive增量导入到ClickHouse中
下面博客链接是之前根据create_time字段判断进行从Hive到ClickHouse的增量导入
一百二十八、Kettle——从Hive增量导入到ClickHouse(根据create_time字段判断)
http://t.csdnimg.cn/ygzN5
http://t.csdnimg.cn/ygzN5
二、Hive的DWS层建表语句和ClickHouse的ADS建表语句
(一)Hive的DWS层建表语句
create table if not exists dws_statistics_volume_1d

本文详细描述了如何使用Kettle从Hive的DWS层通过day字段增量同步数据到ClickHouse的ADS层,包括Hive和ClickHouse的表结构,以及如何配置Kettle任务以处理day字段类型转换和增量判断。
最低0.47元/天 解锁文章

被折叠的 条评论
为什么被折叠?



