![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
ETL+BI
偲偲粑
这个作者很懒,什么都没留下…
展开
-
开源BI框架对比选择 Superset-Redash-Metabase
仅是从使用角度选择,不包括二次开发。如果是二次开发,那就看技术栈和框架选择,结合Redash并入databricks,毫无疑问选Redash。原创 2020-09-11 11:06:14 · 8287 阅读 · 0 评论 -
Kettle(四)遍历操作
文章目录1、整体流程2、细节介绍2.1 tables In mysql2.2 逐个拉表2.3 set tables name2.4 insertKettle做遍历是非常有必要的,拖库,日更,谁也不想做那么多重复工作。遍历有不同的做法,我这里介绍的是,将表名存在结果中,然后利用JOB设置的执行每一行输入例子是从一个数据库中按顺序抽取表到另一个数据库。1、整体流程整体JOB需要两个步,1、获取需要操作的表名(tables In mysql);2、逐个表按设计转换拖到另一个数据库(逐个拉表)。其中,第原创 2020-09-01 18:38:32 · 1534 阅读 · 0 评论 -
Kettle(三)拉链表
文章目录1、示例2、Kettle实现分析3、Kettle实现步骤3.1 更新3.2 插入3.2 流程4、Kettle实现细节4.1 更新4.2 插入5、速度测试5.1 csv数据导入5.2 首次导入数据5.3 更新5.4 插入6、总结与经验拉链表,顾名思义,就是记录一个事物从开始,一直到当前状态的所有变化的信息。1、示例例如下面的流水表,code是会更新的字段。那么对应的拉链表设计如下:其中uid是自增主键。需要更详细了解可以参考 漫谈数据仓库之拉链表(原理、设计以及在Hive中的实现)2、原创 2020-09-01 17:34:21 · 1460 阅读 · 0 评论 -
Kettle(二)差点放弃
Kettle实战100篇(天)ETL工具KETTLE表输入表输出提速5-10倍Kettle提高表输出写入速度(每秒万条记录)原创 2020-08-28 15:23:25 · 742 阅读 · 1 评论 -
Kettle(一) 安装
文章目录1、Kettle介绍2、JDK安装3、Kettel安装1、Kettle介绍Kettle是一款国外开源的ETL工具,纯java编写,可以在Windows、Linux、Unix上运行,数据抽取高效稳定。Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出。Kettle家族目前包括4个产品:Spoon、Pan、CHEF、Kitchen。SPOON 允许你通过图形界面来设计ETL转换过程(Transformation)。PAN 允许你批量运行原创 2020-08-21 09:54:43 · 266 阅读 · 0 评论