2012年03月_Killersa

转载浅谈数据仓库建设中的数据建模方法

所谓水无定势，兵无常法。不同的行业，有不同行业的特点，因此，从业务角度看，其相应的数据模型是千差万别的。目前业界较为主流的是数据仓库厂商主要是 IBM 和 NCR，这两家公司的除了能够提供较为强大的数据仓库平台之外，也有各自的针对某个行业的数据模型。例如，在银行业，IBM 有自己的 BDWM(Banking data warehouse model)，而 NCR 有自己的 FS-LDM 模

2012-03-16 11:14:14 1062

转载 ETL 杂2

浅析查找ETL系统瓶颈What steps do you take to determine the bottleneck of a slow running ETL process?如果ETL进程运行较慢，需要分哪几步去找到ETL系统的瓶颈问题。答：ETL系统遇到性能问题，运行很慢是一件较常见的事情，这时要做的是逐步找到系统的瓶颈在哪里。

2012-03-15 17:06:44 766

转载 ETL 杂1

浅析一致性维度的交付步骤Explain the three basic delivery steps for conformed dimensions.简述对一致性维度的三种基本的交付步骤。答：数据整合的关键就是生成一致性维度，再通过一致性维度将来自不同数据源的事实数据合并到一起，供分析使用。通常来说，生成一致性维度有如下三个步骤：

2012-03-15 11:58:24 699

转载浅析ETL中对日期的处理

Why do dates require special treatment during the ETL process?为什么在ETL的过程中需要对日期进行特殊处理？答：在数据仓库的项目中，分析是主导需求，而基于日期和时间的分析更是占了很大的比重。而在操作型源系统中，日期通常都是SQL的DATETIME型的。如果在分析时，使用SQL对这种类型的字段临时处理会出现一些问题，如效率很差，不

2012-03-15 11:54:05 2479

转载浅析代理键替换管道

What are surrogate keys? Explain how the surrogate key pipeline works.什么是代理键？简述代理键替换管道如何工作。答：在维度表的迁移过程中，有一种处理方式是使用无意义的整型值分配给维度记录并作为维度记录的主键，这些作为主键的整型值称为代理键（Surrogate Key）。使用代理键有很多好处，如隔离数据仓库与操作环境，历史

2012-03-15 11:52:14 860

转载浅析量化分析数据质量

How can data quality be quantified in the data warehouse?如何来量化数据仓库中的数据质量？答：在数据仓库项目中，通常通过不规则数据的检测工作（Anomaly Detection）来量化源系统的数据质量。除非成立专门的数据质量调查项目组，否则这个工作应该由ETL项目组完成。通常可以采用分组SQL来检查数据是否符合域的定义规则。对于数

2012-03-14 20:47:31 1149

转载浅析数据质量检查的交付物

What are the essential deliverables of the data quality portion of ETL?ETL项目中的数据质量部分核心的交付物有那些？答：ETL项目中数据质量部分的核心的交付物主要有下面三个：1．数据概况分析结果数据概况分析结果是对源系统的数据状况的分析产物，包括如源系统中有多少个表，每个表有多少字段，其中多少为空，表间的外键关

2012-03-14 18:00:38 1054

转载浅析何时进行概况分析

At which stage of the ETL should data be profiled?简述应该在ETL的哪个步骤来实现概况分析？答：数据概况分析是对源数据内容的概况进行分析，应该在项目的开始后尽早完成，它会对设计和实现有很大的影响。在完成需求收集后就应该立即开始数据概况分析。数据概况分析不光是对源系统的数据概况的定量描述，而且为ETL系统中需要建立的错误事件事实表（Err

2012-03-14 17:58:40 504

转载浅析数据质量检查

What are the four broad categories of data quality checks? Provide an implementation technique for each.数据质量检查的四大类是什么？为每类提供一种实现技术。答：数据质量检查是ETL工作中非常重要的一步，主要关注一下四个方面。1．正确性检查（Corret）检查数据值及其描述是否真实

2012-03-14 17:51:14 1320

转载浅析变化数据捕获

Describe three change data capture (CDC) practices and the pros and cons of each.简述出三种变化数据捕获技术及其优缺点。答：变化数据捕获（CDC）技术是ETL工作中的重点和难点，通常需要在增量抽取时完成。实现变化数据捕获时最理想的是找到源系统的DBA。如果不能找到，就需要ETL项目组自己进行检测数据的变化。

2012-03-14 17:49:05 1201

转载浅析数据库连接方式

Explain the pros and cons of communicating with databases natively versus ODBC.简述直接连接数据库和使用ODBC连接数据库进行通讯的优缺点。答：通常连接数据库的方式分为两类，一类是直接连接，另一类是通过ODBC连接。直接连接的方式主要是通过COBOL、PL/SQL、Transact-SQL等方式连接数据库。这

2012-03-14 17:47:13 798

转载浅析ERP数据的抽取

What is the best approach for handling ERP source data?从ERP源系统中抽取数据最好的方法是什么？答：ERP系统的产生是为了解决企业内异构数据的整合。这个问题也是数据仓库系统面临的主要问题。ERP的解决方案是将企业内的各个应用（包括销售、会计、人力资源、库存和产品等）建立在相同的平台和相同的应用框架下，即在应用操作层将企业内的数据进行了

2012-03-14 17:46:19 2029

转载浅析异构数据抽取

Describe techniques for extracting from heterogeneous data sources.简述异构数据源中的数据抽取技术。答：在数据仓库项目中，需要抽取的数据经常来自不同的数据源，它们的逻辑结构和物理结构都可能不同，即称之为异构数据源。在对异构数据源进行整合抽取时，我们需要做的事情依次是标识出所有的源系统，对源系统进行概况分析，定义数据匹配逻

2012-03-14 17:41:39 1058

转载浅析Staging

When should data be set to disk for safekeeping during the ETL?简述ETL过程中哪个步骤应该出于安全的考虑将数据写到磁盘上？答：Staging的意思就是将数据写到磁盘上。出于安全及ETL能方便重新开始，在数据准备区（Staging Area）中的每个步骤中都应该将数据写到磁盘上，即生成文本文件或者将建立关系表保存数据，而不应

2012-03-14 17:40:12 4472

转载浅析数据准备区中的数据结构

What are the permissible data structures for the data staging area? Briefly describe the pros and cons of each.在数据准备区中允许使用的数据结构有哪些？各有什么优缺点？答：1．固定格式的文本文件。（Flat File）Flat File指的是一种保存在系统上的一种文本文件格

2012-03-14 17:38:43 1349

转载浅析ETL过程的四步

What are the four basic Data Flow steps of an ETL process?在ETL过程中四个基本的过程分别是什么？答：Kimball数据仓库构建方法中，ETL的过程和传统的实现方法有一些不同，主要分为四个阶段，分别是抽取（extract）、清洗（clean）、一致性处理（comform）和交付（delivery），简称为ECCD。1．抽取阶

2012-03-14 17:29:09 1284 1

转载浅析起始来源数据

How is the system-of-record determined?如何确定起始来源数据？答：这个问题的关键是理解什么是System-of-Record。System-of-Record和数据仓库领域内的其他很多概念一样，不同的人对它有不同的定义。在Kimball的体系中，System-of-Record是指最初产生数据的地方，即数据的起始来源。在较大的企业内，数据会被冗余的

2012-03-14 17:21:55 691

转载浅析数据探索阶段

What are the primary goals of the data discovery phase of the data warehouse project?在数据仓库项目中，数据探索阶段的主要目的是什么？答：在逻辑数据映射进行之前，需要首先对所有的源系统进行分析。对源系统的分析通常包括两个阶段，一个是数据探索阶段（Data Discovery Phase），另一个是异常数

2012-03-14 17:19:41 1776

转载浅析逻辑数据映射

What is a logical data mapping and what does it mean to the ETL team?什么是逻辑数据映射？它对ETL项目组的作用是什么？答：逻辑数据映射（Logical Data Map）用来描述源系统的数据定义、目标数据仓库的模型以及将源系统的数据转换到数据仓库中需要做操作和处理方式的说明文档，通常以表格或Excel的格式保存如下的

2012-03-14 17:16:22 5671

转载引用:初探Sql Server 执行计划及Sql查询优化

最近总想整理下对MSSQL的一些理解与感悟，却一直没有心思和时间写，晚上无事便写了一篇探索MSSQL执行计划,本文讲执行计划但不仅限于讲执行计划。网上的SQL优化的文章实在是很多，说实在的，我也曾经到处找这样的文章，什么不要使用IN了，什么OR了，什么AND了，很多很多，还有很多人拿出仅几S甚至几MS的时间差的例子来证明着什么(有点可笑)，让许多人不知道其是对还是错。而SQL优化又是

2012-03-12 14:52:37 493

转载 session和cookie的辨析

转自：http://webdataanalysis.net/reference-and-source/session-and-cookie/session和cookie是网站浏览中较为常见的两个概念，也是比较难以辨析的两个概念，但它们在点击流及基于用户浏览行为的网站分析中却相当关键。基于网上一些文章和资料的参阅，及作者个人的应用体会，对这两个概念做一个简单的阐述和辨析，希望能与大家共同探讨下。

2012-03-06 17:07:14 326

转载高级数据仓库

高级数据仓库此主题尚未评级评价此主题SQL Server 2012[本文档仅供预览，在以后的版本中可能会更改。空白主题作为占位符包含在内。]本主题提供了有关如何使用 Integration Services 将数据加载到高级数据仓库中的基本信息。 Integration Services 是用于数据的高性能提取、转换和加载 (ETL

2012-03-01 16:16:48 1370 1

我的三千烦恼丝