ETL理解

什么是ETL，就是讲业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，这个过程也就是ETL。通常，ETL是BI项目的一个很重要的环节，一般花费时间至少占据整个项目时间的1/3。ETL设计的好坏直接关系到珍格BI项目的成败。 
ETL主要分为三个部分： 
抽取（extract）、交互转换、数据处理（transform）、加载（load）

数据抽取
数据转换（T）
数据加载 
实现ETL，首先要实现ETL转换的过程，体现为一下几个方面： 
1、空值处理：可捕获字段空值，进行加载或替换为其他含义数据，并可根据字段空值实现分流加载到不同目标库。 
2、规范化数据格式：可实现字段格式约束定义，对于数据源中时间、数值、字符等数据，可自定义加载格式。 
3、拆分数据：依据业务需求对字段可进行分解。例，主叫号 861082585313-8148，可进行区域码和电话号码分解。 
4、验证数据正确性：可利用Lookup及拆分功能进行数据验证。例如，主叫号861082585313-8148，进行区域码和电话号码分解后，可利用Lookup返回主叫网关或交换机记载的主叫地区，进行数据验证。 
5、数据替换：对于因业务因素，可实现无效数据、缺失数据的替换。 
6、Lookup：查获丢失数据 Lookup实现子查询，并返回用其他手段获取的缺失字段，保证字段完整性。 
7、建立ETL过程的主外键约束：对无依赖性的非法数据，可替换或导出到错误数据文件中，保证主键唯一记录的加载。