![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
ETL
文章平均质量分 94
ETL工具使用及介绍
W-DW
我们不生产数据,我们只是数据的加工者
展开
-
WaterDrop--如何快速地将Kafka中的数据导入GreenPlum6关系型数据中
将Kafka中的数据导入GreenPlum6前言准备环境GP6建表Shell 开发WaterHouse.conf脚本部署、上线验证 前言 最近刚接到一个新的需求,将实时数据做成一个报表,报表好做是好做,但是数据源是如何获取的呢,目前我们的实时数据只有ClickHouse上进行存放的,但是传统型Cognos BI报表不支持CK数据的接入,故只能通过关系型数据库进行存储实时数据,我们目前的实时数据是通过Flink进行汇总计算的,然后通过kafka进行消息分发,故我们现在适应WaterHouse来接入kafka数原创 2020-05-21 21:10:01 · 787 阅读 · 0 评论 -
WaterDrop--如何快速地将MongoDB中的数据导入Hive
如何快速地将MongoDB中的数据导入Hive准备环境编写脚本-WaterDrop.confhdfs ==> hive调用shell并加之Azkaban进行任务调度 最近我们有些MongoDB业务库的数据需要导入至Hive中,以前我是用的Kettle进行离线抽取GreenPlum,但是现在我们的数仓整体迁至Hive+Impala,导致使用kettle无法使用,使用sparkSQL又有点麻烦,需要部署jar之类的,由于我们之前就使用过WaterDrop工具将GP[GreenPlum4]中的数据导入CK[原创 2020-05-21 10:17:06 · 1285 阅读 · 0 评论 -
WaterDrop初次体验--如何快速地将GreenPlum中的数据导入ClickHouse
如何快速地将GreenPlum中的数据导入ClickHouse WaterDrop认识 我们引用官网的一段话来学一下WaterDrop的作用:Waterdrop 是一个非常易用,高性能、支持实时流式和离线批处理的海量数据处理产品,架构于Apache Spark 和 Apache Flink之上。下面插入WaterDrop官网的链接地址,方便小伙伴更好的学习WaterDrop https://int...原创 2020-04-06 12:18:52 · 2207 阅读 · 2 评论