Atitit etl之道 attilax著 1. ETL 1 1.1. （数据仓库技术） 2 1.2. ETL的质量问题具体表现为正确性、完整性、一致性、完备性、有效性、时效性和可获取性等几个特性

Atitit etl之道 attilax著

 

1. ETL 1

_{1.1. （数据仓库技术）} 2

1.2. ETL的质量问题具体表现为正确性、完整性、一致性、完备性、有效性、时效性和可获取性等几个特性 2

2. Etl使用场合 实现bi 2

3. ETL的实现有多种方法，常用的有三种。 3

3.1. 一种是借助ETL工具(如Oracle的OWB、SQL Server 2000的DTS、SQL Server2005的SSIS服务、Informatic等)实现， 3

3.2. 一种是SQL方式实现， 3

3.3. 另外一种是ETL工具和SQL相结合。 3

4. 首先要实现ETL转换的过程。 3

4.1. 空值处理： 3

4.2. 规范化数据格式： 3

4.3. 拆分数据 3

4.4. 验证数据正确性： 4

4.5. 数据替换： 4

4.6. Lookup： 4

4.7. 建立ETL过程的主外键约束 4

5. 体系结构ETL工具目前有两种技术架构——ETL架构和ELT架构 4

5.1.1. ETL架构 4

5.1.2. ELT架构 5

5.2. 注意事项 6

6. 一、 数据的抽取（Extract） 6

6.1. 1、对于与存放DW的数据库系统相同的数据源处理方法 7

6.2. 2、对于与DW数据库系统不同的数据源的处理方法 7

6.3. 对于文件类型数据源(.txt,.xls)， 7

6.4. 4、增量更新的问题 7

7. 二、数据的清洗转换（Cleaning、Transform） 7

7.1. 1、 数据清洗 8

7.2. 不符合要求的数据主要是有不完整的数据、错误的数据、重复的数据三大类。 8

7.3. 2、 数据转换　　数据转换的任务主要进行不一致的数据转换、数据粒度的转换，以及一些商务规则的计算。 8

8. 三、ETL日志、警告发送 9

9. ETL有几个特点， 9

9.1. 一是数据同步， 9

9.2. 二是数据量，一般都是巨大的，值得你将数据流动的过程拆分成E、T和L。 10

 

 

1. ETL

 

1.1. _{（数据仓库技术）}

 编辑

ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。ETL一词较常用在数据仓库