ETL
Stannis
小白
展开
-
电信收费计费系统BI项目
一、数据仓库体系架构图 二、在Oracle数据库中创建三个用户 用户 代表数据仓库层级 bi_oltp oltp bi_ods ods bi_edw edw 创建用户bi_oltp create user bi_oltp identified by bi_oltp default tablespace users temporary tablespace temp profile default account unlock; grant connect to bi_olt原创 2022-03-04 16:22:23 · 2375 阅读 · 1 评论 -
Kettle入门(四)--创建作业
七、创建作业job 1、新建作业 2、选择START 【通用】–》【START】 3、选择转换 【通用】–》【转换】 4、成功 【通用】–》【成功】 5、开始结束原创 2021-11-05 16:21:56 · 1402 阅读 · 0 评论 -
Kettle入门(三)
六、数据增量更新问题 1、方式一:脚本 执行SQL脚本 表输入: 表输出 结果 2、裁剪表 表输出设置【剪裁表】 结果: 3、插入/更新 结论: 当数据源变化时,重新抽取后,目标也变过来了 4、同步更新 表输入: 表输入2: 排序记录:按照主键进行排序 合并记录: 需要注意新旧数据源,该实例中,【表输入2】为旧数据源,【表输入】为新数据源 数据同步 结果:只插入了新增的两条数据 5、时间戳方式更新(大数据量) 清除目标表之前数据 选择前一天的数据 结果原创 2021-11-04 17:53:37 · 1421 阅读 · 0 评论 -
Kettle入门(二)
五、在kettle中进行行转列 原始数据 图示 **注意:**转换工具用的是【列转行】 Excel输入 排序记录 列转行 表输出 结果:原创 2021-11-04 16:26:15 · 97 阅读 · 0 评论 -
ETL讲解
ETL讲解 ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程,目的是将企业中的分散、零乱、标准不统一的数据整合到一起,为企业的决策提供分析依据。 ETL是BI项目重要的一个环节。 通常情况下,在BI项目中ETL会花掉整个项目至少1/3的时间,ETL设计的好坏直接关接到BI项目的成败。 ETL的设计分三部分:数据抽取、数据的清洗转换、数据的加载。在设计ETL的时候我们也是从这三部分出发。数据的抽取是从各个不同的数据源抽取到ODS(Operational Data Store,操作型数据存储)转载 2021-02-20 10:34:14 · 341 阅读 · 0 评论