![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
3newniu-ETL
isuifeng
这个作者很懒,什么都没留下…
展开
-
数据仓库新玩法---横纵式DW + 横纵式ETL
从用途说起 DW : 用于分析的数据平台ODS : 用于过渡的转换平台 ODS1, 集中 将不同数据库,不同数据源的数据统一集中存储 2, 隔离 通过ODS隔离数据仓库和业务系统数据库, 可减轻对业务系统的压力 3, 实时+明细 存储实时的明细数据, 可以据此生成报表 横式DW + 横式ETL 替代 ODS1, 集中异构数据源 将不同数据库,不...2009-01-20 09:12:34 · 119 阅读 · 0 评论 -
ETL面临的问题
ETL面临的问题一, 数据同步二, 数据关联 一, 数据同步业务系统的数据库变化了, 怎么同步到DW中, 常见方法如下 1, 全部删除, 重新导入 优点 : 简单 缺点 : 无法保存历史记录, 时间代价大 2, 时间戳增量更新 优点 : 简单, 快速 缺点 : 必须有时间戳字段 3, 全表对比增量更新 优点 : 限制条件少 缺点 : 时间代价昂贵, 处理...2009-01-20 11:11:01 · 997 阅读 · 0 评论 -
ETL通用解决方案---oracle+存储过程 实现
方案理念--四化理念数据规格化处理自动化信息集中化操作人性化架构通过视图实现来至两个不同数据库的表的结构完全一致, 在结构完全相同的两个表之间进行数据同步, 问题变得相当简单. 同步代码如下. ETL---初始同步delete from ods_table;insert into v_tableselect * from db_table;commit...2009-02-01 23:42:15 · 1459 阅读 · 0 评论 -
newniu ETL 性能测试报告
绿色是正常的, 而红色的有点离谱, 原因是由于那个要抽取的表关联了6张表, 还用了group by, 而且没有id, id是采用 t5.ID * 100000 + trunc(t2.DTDATE - to_date('2000', 'yyyy')) 拼接出来的性能很需要改进....2009-02-07 01:18:09 · 336 阅读 · 0 评论 -
newniu ETL 0.5发布
改进1, 对代码进行重构2, 对文档进行改写3, 重构到最后只剩下 设计文档 + 核心数据 有了[设计文档 + 核心数据], 然后进行部署开发试运行整个过程只需要10分钟. 函数式开发我把此开发方式定义为函数式开发, 开发一个函数, 然后传参数, 然后返回一个可运行的系统. 需要源码的留下联系方式. ...2009-02-10 10:13:02 · 77 阅读 · 0 评论