Oracle的数据仓库方案

给某一运营商的增值业务系统做过一个数据仓库子系统,基于oracle9i,当时的一些记录,以备将来查验!


Oracle的数据仓库方案构件如下:
1、Oracle 9i中的insert all, merge等超强的语句
2、Cube的支持,在安装OLAP组件之后,包括MIEW的Query Rewrite
3、Oracle 9i中集成了以前的 Express Server

抽取工具用pl/sql + external table + sqlldr来实现
展现工具用Discovery, Reports 或其他工具来做

对于每天同步一次的只要网络还可以的,建议还是用exp/ftp/check/imp.其实可以将exp的文件分成多个小文件,防止因为网络的问题导致大量数据的重传。在ftp的client和server端分别写个shell然后利用cron job来调用,应该就ok了。

快照+触发器+存储过程

dw由于多数是只读的,所以工作于非归档,不用做联机备份

DWA 关注与存贮和设计和实施, 由于 DW 在实际的实施的时候一般都可能要分为 ODS/DW/OLAP 等等, 必须考虑导每一个部分的数据存储的时间和备份的方案,同时由于数据仓库中数据量很大,并且由很多的重复数据,在定备份方案上一定需要确定一个时间窗口, 还有数据导入的时间窗口也是非常重要的。

物理存储的空间规划[HA、RAID、硬件存储的划分]、逻辑建模[PD、ERwin等]、ETL技术[DS、INFORMATICA等]、沉淀数据的存储管理[DBA]、前端展现工具[cognos、brio等,还要一定的数理分析知识]。当然了,做好DW项目的前提还有泥必须很熟悉这个行业的业务及需求。

使用ftp传输, 使用external table load, 再使用merge整合数据

1、最主要的是db_block_size的大小设置不同,DW的要比OLTP的大些;另外还有一个buffer大小设置不同(印象中是large_pool),也是DW的要相应大些。

使用位图索引,存储更为有效,与B*Tree索引比较起来,只需要更少的存储空间,这样每次读取可以读到更多的记录,而且与B*Tree索引相比,位图索引将比较,连接和聚集都变成了位算术运算,大大减少了运行时间,从而得到性能上的极大的提升。在事实表的外键列上建立位图索引,查询首先访问事实表,然后才是维表的连接。在事实表上返回的结果将减少,而不是对所有的可能的维表属性进行笛卡尔积运算,所以极为有效。
*如果要使用位图索引,初始化参数STAR_TRANSFORMATION_ENABLED应该设置为
TRUE.
* 优化模式应该是CBO。对于数据仓库的环境中,总是应该考虑使用CBO(COST-BASED
OPTIMIZER)。
*位图索引应该建立在每一个事实表的外键列上。(这只是一个一般的规则.)

1、数据仓库中的外键等约束主要是为数据库提供元数据让优化器使用的,保证数据一致性的工作应该在ETL中完成。
2、数据装载的时候最好是把所有约束禁用,把索引去掉,完了再启用约束和重建索引,这样会快好多(3、我不你明白,你说维表加载不成功,fact表的一部分数据也要加载吗,那不会得出错误的统计结果吗,或者因为没有维度数据fact表中的数据通过关联会被过滤掉?我的做法是如果出现加载不成功时根据情况的不同给管理员发送警告或者重新加载数据(可能需要人工干预)。

分区(hash分区和range分区)
CUBE和ROLLUP
位图化索引(Bitmapped index)
程序员特区

http://coderarea.net/html/shujukukaifa/Oracle/2009/0311/60208.html

 

一.数据仓库发展的商业驱动力 3 1.1 企业生存环境的变化 3 1.2 企业如何迎接市场变化带来的挑战 4 1.2.1 开拓市场:理解市场 4 1.2.2 提高企业运作绩效:理解业务 5 1.2.3 平衡市场发展目标和企业运作 5 1.3 基于数据仓库的有效的商务解决方案的要求 6 1.4 ORACLE数据仓库:被证明是有实力的商务解决方案 6 二、ORACLE数据仓库的体系结构 7 2.1 数据仓库的平台:数据库和决策分析工具 11 2.1.1 Oracle8i的数据仓库新特性 11 2.1.2 Oracle OLAP产品的新发展 13 2.1.3 Oracle 集成的决策支持产品工具集 16 2.2 市场发展分析应用 17 2.3 企业运作分析应用 18 2.4 平衡市场和企业运作目标的应用 18 2.5 ORACLE商业智能系统 19 2.6 ORACLE数据仓库实施咨询服务 19 2.7 ORACLE数据仓库合作伙伴计划 20 三、ORACLE数据仓库的平台--ORACLE8I 21 3.1 丰富查询处理技术(RICH QUERY PROCESSING TECHNIQUES) 22 3.2 高级SQL优化器(SOPHISTICATED SQL OPTIMIZER) 23 3.3 高端数据仓库技术和OLTP 24 3.4 资源管理 24 3.5 分区表(PARTIONED TABLES)与索引 24 3.6 摘要管理 25 3.7 透明的表空间 25 3.8 直接的路径装载API 26 3.9 数据仓库的增强功能 26 3.10 先进的查询技术与业务事件 26 3.11 ORACLE8I并行服务器改进 27 3.12 扩展的备份与恢复子系统 28 3.13 ORACLE开放式网关提供异种数据源访问技术 28 3.14 增强的多媒体信息处理能力ORACLE 8I INTERMEDIA 30 3.15 数据库管理工具ORACLE ENTERPRISE MANAGER 31 四、ORACLE数据仓库设计和建立工具--WAREHOUSE BUILDER 34 五、ORACLE集成的决策分析工具集 36 5.1 ORACLE的联机分析处理(OLAP)工具--ORACLE EXPRESS 36 5.1.1 Oracle Express服务器 36 5.1.2 Oracle OLAP的强大的开发工具 42 5.2 ORACLE即席查询分析工具--ORACLE DISCOVERER 48 5.3 ORACLE 企业级的报表工具--ORACLE REPORTS 57 5.4 ORACLE的数据挖掘工具--DATA MINING SUITE 60 5.5 ORACLE应用服务器—INTERNET APPLICATION SERVER 61 六、数据仓库的发展趋势:与电子商务的融合 64
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值