数据库操作--- ETL

转自：https://www.jianshu.com/p/e62431a738e8

ETL定义

字面含义：ETL是抽取（extract）、转换( transform )、加载( load )的缩写。

简单定义：将数据从OLTP系统中转移到数据仓库中的一系列操作的集合。

ETL应用范围

1. 抽取： 一般抽取过程需要连接到不同的数据源，以便为随后的步骤提供数据。这一部分看上去简单而琐碎，实际上它是ETL解决方案成功实施的一个主要障碍。

2. 转换： 在抽取和加载之间，任何对数据的处理过程都是转换。这些处理过程通常包括（但不限于）下面一些操作。

   • 移动数据
   • 根据规则验证数据
   • 数据内容和数据结构的修改
   • 集成多个数据源的数据
   • 根据处理后的数据计算派生值和聚集值

3. 加载： 将数据加载到目标系统的所有操作。