大数据ETL简介

1 数据抽取
ETL（Extract-Transform-Load）是将数据从来源端经过抽取（extract）、转换（transform）、加载
（load）⾄⽬的端的过程。从数据源抽取出所需要的原始数据，经过数据清洗，最终将清洗后的数据加
载到数据仓库中去。也称为数据仓库技术。

数据抽取是从数据源抽取需要的原始数据，抽取的⽅式多种多样，要根据数据源的特点来确定，通常有
如下⼏种数据抽取的⽅式：
1、从关系数据抽取数据
通常OLTP系统采⽤关系数据库存储业务操作数据，从关系数据库抽取操作型数据是最多⼀种数据抽取
⽅式。
数据从关系数据库抽取后通常会先以⽂件的⽅式存储到分布式⽂件系统中（例如HDFS），⽅便ETL程序
读取原始数据。也有的是将抽取后的数据直接存储到数据仓库中，采⽤第⼆种⽅法需要提前在数据仓库
创建与原始数据相同结构的数据仓库模型。
2、从⽇志⽂件抽取
OLTP系统通过⽇志系统将⽤⼾的操作⽇志、系统⽇志等存储在OLTP服务器上，由专⻔的采集程序从服
务器上采集⽇志⽂件信息。
3、从数据流接⼝抽取
OLTP系统提供对外输出数据的接⼝（⽐如telnet），采集系统与该接⼝对接，从数据流接⼝抽取需要的
数据。

2 数据转换
数据转换也叫数据清洗转换，是将采集过来的原始数据（通常原始数据存在⼀定的脏数据）清洗（过
虑）掉不符合要求的脏数据，根据数据仓库的要求对数据格式进⾏转换，经过数据清洗转换后是符合数
据仓库要求的数据。
要清洗的脏数据的形式有：<