自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

数据工匠-PowerData

一个关于数据仓库/商业智能,大数据/云计算和移动互联网的博客

  • 博客(20)
  • 资源 (1)
  • 收藏
  • 关注

原创 PL/SQL

1.Plsql 引擎可以接受应用程序的程序,然后将sql 部分和plsql 部分分离出来,分别交给sql引擎和plsql引擎执行,提高执行效率。2.plsql支持dml,select语句,不直接支持ddl,用动态语句,execute immediate或DBMS_SQL。3.forall与批处理bulkcollection联合用,bulk collection可以减少plsql的引擎和sq

2011-07-26 16:35:06 481

原创 DW-BI Tool

我用过的工具:DB2/Oracle/Teradata + Datastage/Abinitio+ Cognos/Qlikvew/BIEE/BO + SPSS/SAS收购整合的工具:SAP:BUSINESS OBJECTS(Crystal Reports),SybaseOracle:Hyperion(brio),ESSbaseIBM:Datastage,Cognos, N

2011-07-26 11:34:15 553

转载 Exadata V2 vs pureScale

转载http://geniusmatt.blogbus.com/logs/75269846.html  前言        最近计划做pureScale高可用性及扩展性测试,收集了一些这方面的资料,09年年末也有过一次和Oracle关于Exadata V2产品的交流。严格意义上,pureScale和Exadata V2没有可比性。pureScale不是Exadata V2那样的软硬件集

2011-07-21 23:33:16 833

原创 内联视图、标量子查询、WITH子查询分解的示例

内联视图、标量子查询、WITH子查询分解的示例-- 内联视图 (子查询在from后面,作为一个表)select p.pname,c1_sum1,c2_sum2from p,(select id,sum(q1) c1_sum1 from s1 group by id) s1,(select id,sum(q2) c2_sum2 from s2 group by id) s2w

2011-07-18 09:17:34 1520

原创 Oracle 高级SQL

简单case和searched case之间的区别:Case exp when then ; Case when then1. 简单case只能是when后面的表达式完全匹配case后的表达式,相当于 =,所以也不能匹配null。2. searched case可以作为比较条件,那么可以使用like,!=,between ..and,层次查询1. Conne

2011-07-15 16:29:07 663

原创 oracle ETL

1.大批量,大吞吐量2.并行:merge3.统计函数:Rank,rollup, cube4.move data:TTS tablespace,merge/exchage partition,external table5.不用cursor;用view, global temp table6.MQT,可以有效加快统计类报表的速度 HW建议:1.使用游标来处理逻辑,用游

2011-07-14 22:21:05 746

原创 Oracle concept

1.数据是在block里存储的,一个block可以有很多行。空块组成freelist. Pctfree=10,就是说一个块的使用率达到90%,unlink from freelist;Pctused=40%,就是说一个块的使用率低于40%时,relinik to free list.2.redo-保存的是commited数据,当数据库出现故障时,可以recovery.    undo-保存

2011-07-14 20:08:18 371

原创 Oracle与DB2的那些事儿

http://wenku.baidu.com/view/696c88d176eeaeaad1f33096.htmlhttp://www.itpub.net/thread-1428290-1-1.html Oracle and DB2的高可用性和容灾性。Hardware/OS: HA,HACMPInstance:RAC,PurescaleData: RMAN,Backup Uti

2011-07-14 19:04:49 682

原创 Oracle 分区

1.Range/list,方便历史数据的迁移,如交易表2.Hash,用于主数据表,如客户表3.composite,Range-List,如(Year,Month)的分区方法4.前缀索引:分区字段是索引字段的一部分(前缀)5.本地索引:分区字段=索引字段6.全局索引:分区字段7.delete recrod可以自动维护索引,但drop table时,普通索引和全局索引,索引

2011-07-13 21:45:59 408

原创 Share-nothing and Share-everything.

Sharenothing: Teradata, DB2 DPF, MySQL( need to re-distribute data)Shareeverything: Oracle, DB2 purescale,, MySQL(争用磁盘,但一致性好,集群性好) Oracle:一台服务器可以安装多个实例,一个磁盘阵列可以有多个库 --这样两套系统可以跑在同一个机器上。一个实例不可

2011-07-12 16:26:37 1283

原创 CDC

1.字段:创建日期,修改日期,有效性。insert: 创建日期=当前=修改日期  and 有效update:创建日期=旧,修改日期=当前 and 有效delete: 创建日期=旧=修改日期 and 无效2.触发器3.日志(Steam/CDC)4.全文比对(MD5),拉链表5.全文清除,插入

2011-07-12 16:22:42 346

原创 职业化,专业化

1. 工作技能:像个做事的人2. 工作形象:看起来像那一行的人。3. 工作态度:用心把事做好。4.工作道德: 对一个品牌信誉的坚持。

2011-07-12 16:01:46 334

原创 星型建模注意点

1. 系统设计以业务为出发点。2. 源数据的评估很重要。3. 一致性维度4. 不要根据报表来设计系统5. Surragate Key的使用6. 注意跟踪维度的变化。7. 数据要保持在最低粒度(BL层)8.DIM表的描述性属性应详细。9. 不要把描述性属性放在Fact表。

2011-07-12 15:57:54 396

原创 DB2 vs Oracle 系统视图

DB2:SysIBM 系统编目(catalog)syscat:静态的对象信息。sysstat:动态性能信息。Oracle:Sys 数据字典(data dict),存放在SYSTEM表空间sys: (dba_/user_/all_)静态的对象信息sys:(V$)动态性能信息

2011-07-12 15:50:28 345

原创 Datastage 注意点

1. 逻辑复杂的Stage, write Annotation.2. Test data: Row/Column Generator3.Debug Data: copy->filter->peek4. Modify stage for type convesion.5. Combine Stage: header-+detail+trailer6. or express can

2011-07-12 15:40:40 400

原创 DW/BI 架构层次

1. Source, 3NF/File, 源数据2. Stg, 3NF,暂存数据(同源同构,不对外提供服务)3. ODS, 3NF,操作数据(简单处理,提供基于业务数据的应用)4. BL, Star, 明细数据(面向主题域,数据加工,产生衍生指标)5. DM, Start, 汇总数据(特定领域的应用)6. OLAP, Cube, 多维数据7. Report。最难

2011-07-12 15:25:41 1824

原创 Oracle 优化容易忽略的地方

1. Exist 先执行主查询,in 先执行子查询,所以如果主查询有约束条件,应用Exist。2. 非等值连接,只能用排序合并连接,等值连接就可以用Hash Join(快)。3. Null处理,Coalesce, NVL4. SQL是集合处理。5. Mview, Force(fast(log)->complete), on demand, Query rewrite.6. 记录

2011-07-12 15:22:05 294

原创 Oracle 优化流程

1.确定各方职责,时间点,责任人。接口人最好是甲方,而不是开发商。2.性能分析报告(基线)3.优化方案(策略,路径,评估指标)4.方案评审5.实施计划6.实施过程(保存系统表,做好备份-rename table, insert /*+append*/ select )7.验收总结。1)        确定性能基线2)        定位问题SQL3)

2011-07-12 15:08:44 251

原创 Oracle 优化原理

1.Query transformer:1)View merging - represent the view to the containing query block(table).2)Predicate pushing - push the relevant predicates from the containing query block into the view.3)Su

2011-07-12 15:00:16 304

原创 Oracle 优化策略

1.    普通表转分区表(大表-2G,多于1000万条记录)2.    索引(减少非索引扫描)建立索引在约束条件列,选择性高列,被驱动表(内表)连接列(驱动表的连接列不一定)结果集在总行数的2%-4%,应建索引(编号,日期,外键)函数索引- QUERY_REWRITE_INTEGRITY = TRUSTED,QUERY_REWRITE_ENABLED = TRUE,bit

2011-07-12 14:53:32 309

ETL数据增量抽取方案

ETL数据增量抽取方案,ETL数据增量抽取方案,ETL数据增量抽取方案

2011-08-02

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除