如何简单实现ELT？

在商业中，数据通常和业务、企业前景以及财务状况相关，有效的数据管理可以帮助决策者快速有效地从大量数据中分析出有价值的信息。数据集成(Data Integration)是整个数据管理流程中非常重要的一环，它是指将来自多个数据源的数据组合在一起，提供一个统一的视图。

数据集成可以通过各种技术来实现，本文主要介绍如何用ELT(extract, load, transform)实现数据集成。区别于传统的ETL和其他的技术，ELT非常适合为数据湖仓或数据集市提供数据管道，并且可以用更低的成本，根据需求，随时对大量数据进行分析。

接下来将通过一个简单的示例（Demo）介绍如何实现ELT流程，具体的需求是将原始的电影票房数据保存到数据仓库，然后再对原始数据进行分析，得出相关的结果并且保存在数据仓库，供数据分析团队使用，帮助他们预测未来的收入。

技术栈选择

• Data Warehouse： Snowflake
  Snowflake是最受欢迎，最容易使用的数据仓库之一，并且非常灵活，可以很方便地与AWS、Azure以及Google Cloud集成。

• Extract：通过k8s的cronjob将数据库的数据存到S3。

  这里的技术选型比较灵活，取决于源数据库的类型以及部署的平台。Demo中将源数据从数据库提取出来后放在AWS S3，原因是Snowflake可以很方便与S3集成，支持复制数据到仓库并且自动刷新。

• Load：通过Snowflake的External Tables将S3中的数据复制进数据仓库。

• Transform：dbt

  dbt支持使用SQL来进行简单的转换，同时提供了命令行工具，使用dbt我们可以进行良好的工程实践比如版本控制，自动化测试以及自动化部署。但对于比较复杂的业务场景来说，转换的过程一般都通过自己写代码实现。

• Orchestrator: Airflow

  Airflow和Oozie相比有更加丰富的监控数据以及更友好的UI界面。

下图描述了如何使用上述技术栈实现ELT：

图中使用的Logo来自snowflake，dbt和Airflow的官方网站

工具介绍

Snowflake：数据存储

Snowflake是一个将全新的SQL查询引擎与一个专为云设计的创新架构相结合的数据云平台，它支持更快更灵活地进行数据存储、处理以及分析。

示例中将Snowflake作为数据仓库，存储原始数据电影院票房数量以及转换后的数据。

权限管理

和AWS类似，注册Snowflake后会持有一个拥有所有权限的root account。 如果直接使用此账号进行操作会非常危险，所以可以通过Snowflake提供的user和role来进行细粒度的权限管理。

最佳实践是用root account创建新的user并通过role赋予足够的权限，后续的操作都使用新创建的user来进行。

在下面的示例中，创建了一个名为TRANSFORMER的role，并且赋予它足够的权限。然后再创建一个使用这个role的user，在更方便地管理权限的同时，也实践了最小权限原则：

-- create role

CREATE ROLE TRANSFORMER COMMENT = 'Role for dbt';

-- grant permission to the role

GRANT USAGE, OPERATE ON WAREHOUSE TRANSFORMING TO ROLE TRANSFORMER;

GRANT USAGE, CREATE SCHEMA ON DATABASE PROD TO ROLE TRAN