01-什么是ETL

什么是ETL

ETL(Extract-Transform-Load 的缩写，即数据抽取、转换、装载的过程)，是BI/DW的核心，按照统一的规则集成并提高数据的价值，是负责完成数据从数据源向目标数据库转化的过程，是实施数据仓库转化的重要步骤。

• E(Extract-抽取)：从各类原始的业务系统中读取数据，这是所有工作的前提。

• T(Transform-转化)：按照已设计好的规则抽取数据进行转换，统一不同的数据格式。

• L(Load-转载)：将转化好统一格式的数据装载到数据仓库中。

• BI(Business Intelligence-商业智能)：

  ​ 指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。

• DW(Data Warehouse-数据仓库):

  ​ 是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合，是实现商务智能的基础平台。

• 数据仓库与数据库区别：

  • 数据库主要用于事务处理，数据仓库主要用于数据分析。
  • 数据库存储的一般为原始数据源，而数据仓库存放的则是从原始数据中提炼出来有价值，目的的数据。
  • 数据库是面向应用，事务驱动的生产型系统，其实时性高，数据检索量相对较少。
  • 数据仓库是面向主题和分析决策的，其实时性要求低，但数据检索量比较大，存储的是大量的历史数据和当前数据。