初学数据仓库-ETL简单理解

先来看一下数仓整体的架构图

简单说一下何为ETL:
ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。ETL一词较常用在数据仓库，但其对象并不限于数据仓库。
ETL是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。
ETL**工具**的典型代表有:Informatica、Datastage、OWB、微软DTS、Beeload、Kettle等等……
开源的工具有eclipse的etl插件:cloveretl

ETL元数据：过程元数据，技术元数据，业务元数据
1.过程元数据：
- ETL操作统计包括开始时间、结束时间、占用CPU秒数。磁盘写和行计数
- 审计结果包括校验和其他度量质量和完整性的方法
- 质量筛选结果描述了错误条件，发生频率和系统对所有质量筛选结果施加的行为
2.技术元数据
- 所有ETL表的数据存储描述和DDL脚本如表的设计，包括规范化的模式、维度模式、独立的关系表、持久化XML文件和平面文件
- ETL**数据存储策略和步骤**包括保留、备份、存档、回复
-* 异常处理逻辑*确定了当数据质量筛选发生错误时时应当如何处理
还有好多专业术语太多了就不写了大家可以看一下《数据仓库生命周期工具箱第二版》
3.业务元数据
- 说白了就是对一些数据进行描述