使用Apache Hudi + Amazon S3 + Amazon EMR + AWS DMS构建数据湖

1. 引入

数据湖使组织能够在更短的时间内利用多个源的数据，而不同角色用户可以以不同的方式协作和分析数据，从而实现更好、更快的决策。Amazon Simple Storage Service（amazon S3）是针对结构化和非结构化数据的高性能对象存储服务，可以用来作为数据湖底层的存储服务。

然而许多用例，如从上游关系数据库执行变更数据捕获（CDC）到基于Amazon S3的数据湖，都需要在记录级别处理数据，执行诸如从数据集中插入、更新和删除单条记录的操作需要处理引擎读取所有对象（文件），进行更改，并将整个数据集重写为新文件。此外为使数据湖中的数据以近乎实时的方式被访问，通常会导致数据被分割成许多小文件，从而导致查询性能较差。Apache Hudi是一个开源的数据管理框架，它使您能够在Amazon S3 数据湖中以记录级别管理数据，从而简化了CDC管道的构建，并使流数据摄取变得高效，Hudi管理的数据集使用开放存储格式存储在Amazon S3中，通过与Presto、Apache Hive、Apache Spark和AWS Glue数据目录的集成，您可以使用熟悉的工具近乎实时地访问更新的数据。Amazon EMR已经内置Hudi，在部署EMR集群时选择Spark、Hive或Presto时自动安装Hudi。

本篇文章将展示如何构建一个CDC管道，该管道使用AWS数据库迁移服务（AWS DMS）从Amazon关系数据库服务（Amazon RDS）for MySQL数据库中捕获数据，并将这些更改应用到Amazon S3中的一个数据集上。Apache Hudi包含了HoodieDeltaStreamer实用程序，它提供了一种从许多源（如分布式文件系统DFS或Kafka）摄取数据的简单方法，它可以自己管理检查点、回滚和恢复，因此不需要跟踪从源读取和处理了哪些数据，这使得使用更改数据变得很容易，同时还可以在接收数据时对数据进行基于SQL的轻量级转换，有关详细信息，请参见写Hudi表。ApacheHudi版本0.5.2提供了对带有HoodieDeltaStreamer的AWS DMS支持，并在Amazon EMR 5.30.x和6.1.0上可用。

2. 架构

下图展示了构建CDC管道而部署的体系结构。

在该架构中，我们在Amazon RDS上有一个MySQL实例，AWS-DMS将完整的增量数据（使用AWS-DMS的CDC特性）以Parquet格式存入S3中，EMR集群上的HoodieDeltaStreamer用于处理全量和增量数据，以创建Hudi数据集，当更新MySQL数据库中的数据后，AWS-DMS任务将获取这些更改并将它们变更到原始的S3存储桶中。HoodieDeltastreamer作业可以在EMR集群上以特定的频率或连续模式运行，以将这些更改应用于Amazon S3数据湖中的Hudi数据集，然后可以使用SparkSQL、Presto、运行在EMR集群上的Apache Hive和Amazon Athena等工具查询这些数据。

3. 部署解决方案资源

使用AWS CloudFormation在AWS帐户中部署这些组件，选择一个AWS区域部署以下服务：

• Amazon EMR
• AWS DMS
• Amazon S3
• Amazon RDS
• AWS Glue
• AWS Systems Manager

在部署CloudFormation模板之前需要先满足如下条件：

• 拥有一个至少有两个公共子网的专有网络（VPC）。
• 有一个S3存储桶来从EMR集群收集日志，需要在同一个AWS区域。
• 具有AWS身份和访问管理（IAM）角色DMS VPC角色dms-vpc-role。
• 如果要使用AWS Lake Formation权限模型在帐户中部署，请验证以下设置：
  • 用于部署技术栈的IAM用户需要被添加为Lake Formation下的data lake administrator，或者用于部署堆栈的IAM用户具有在AWS Glue data Catalog中创建数据库的IAM权限。
  • Lake Formation下的数据目录（Data Catalog）设置配置为仅对新数据库和新数据库中的新表使用IAM访问控制，这将确保仅使用IAM权限控制对数据目录（Data Catalog）中新创建的数据库和表的所有访问权限。

• IAMAllowedPrincipals在Lake Formation database creators页面上被授予数据库创建者权限。

如果此权限不存在，请通过选择授予并选择授予创建数据库权限。

这些设置是必需的，以便仅使用IAM控制对数据目录对象的所有权限。

4. 启动CloudFormation

要启动CloudFormation栈，请完成以下步骤

• 选择启动CloudFormation栈

• 在Parameters部分提供必需的参数，包括一个用于存储Amazon EMR日志的S3 Bucket和一个您想要访问Amazon RDS for MySQL的CIDR IP范围。

• 遵循CloudFormation创建向导，保持其余默认值不变。

• 在最后一个页面上，选择允许AWS CloudFormation可能会使用自定义名称创建IAM资源。

• 选择创建。

• 当创建完成后，在CloudFormation堆栈的Outputs选项卡上记录S3 Bucket、EMR集群和Amazon RDS for MySQL的详细信息。

CloudFormation模板为EMR集群使用m5.xlarge和m5.2xlarge实例，如果这些实例类型在你选择用于部署的区域或可用性区域中不可用，那么CloudFormation将会创建失败。如果发生这种情况，请选择实例类型可用的区域或子网。

CloudFormation还使用必要的连接属性（如dataFormat、timestampColumnName和parquetTimestampInMillisecond）创建和配置AWS DMS端点和任务。

作为CloudFormation栈的一部分部署的数据库实例已经被创建，其中包含AWS-DMS在数据库的CDC模式下工作所需的设置。

• binlog_format=ROW
• binlog_checksum=NONE

另外在RDS DB实例上启用自动备份，这是AWS-DMS进行CDC所必需的属性。

5. 运行端到端数据流

CloudFormation部署好后就可以运行数据流，将MySQL中的完整和增量数据放入数据湖中的Hudi数据集。

1. 作为最佳实践，请将binlog保留至少24小时。使用SQL客户端登录Amazon RDS for MySQL数据库并运行以下命令：

call mysql.rds_set_configuration('binlog retention hours', 24)

2. 在dev数据库中创建表：

create table dev.retail_transactions(
tran_id INT,
tran_date DATE,
store_id INT,
store_city varchar(50),
store_state char(2),
item_code varchar(