AWS Glue

ETL的三大组件
一般来说，ETL分为3大核心组件：

输入 - E - extract
转换 - T - transform
输出 - L - load
输入
输入即ETL工作的源头。

转换
转换一般为ETL的核心，也就是我们从输入读取数据后，经过怎么样的操作，让数据变成我们想要的样子后，在输出。

输出
输出好理解，就是数据处理完毕后，写入到哪里。

根据项目架构图：

我们输入源部分已经准备完成。

现在来尝试构建ETL工具-Glue

Glue 的 执行原理
我们知道，ETL的过程分为：

抽取（Input）
转换
加载（Output）
Glue也是基于这三种过程设计了3种实现，来帮助完成ETL工作

其中，抽取（Input）和加载（Output）被设计为全程都有元数据管理。

如下图：

我们可以看到，Glue有一个元数据目录的组件，这个组件记录一系列元数据。

输入、输出
我们可以将：

输入
输出
两者的数据结构定义在元数据目录里面，并指明其存储路径。

这里有点像HIVE的外部表的概念。

数据和元数据（Schema）是分离的。

Scheam是在另外的地方（元数据目录）里面单独定义的，并且Schema指向数据具体的路径。

那么，当我们执行ETL任务的抽取和加载（Input、Output）的时候，实际上就是对：

元数据目录里的Schema执行查询（Input），然后根据元数据的定义，从数据文件中（S3、RDS）中抽取数据
元数据目录里的Schema执行插入、更新（Output），根据元数据的定义，这些操作被真实的作用于了数据之上（S3、RDS）
转换
那么，针对输入和输出，Glue设计了一套元数据理论来统一管理，那针对转换呢？

Glue 在转换这一块提供了Python、Scala两种编程语言的支持。

并且，Glue可以实现：

自动构建代码，基于图形化操作完成输入到输出的数据流转（仅做字段映射、改格式等，无复杂转换任务）

自动构建的代码支持修改，可以任意添加转换任务在代码内。

支持Spark任务，自动构建的代码可以自动完成Spark相关环境的封装

[重点]自动构建Spark集群，为ETL JOB提供算力

Glue可以为我们自动构建Spark集群，然后将ETL JOB提交到Spark集群中运行，运行结束后，自动删除Spark集群。

全程无需人工干预，我们甚至无法感知这一操作。
————————————————
版权声明：本文为CSDN博主「yida&yueda」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_40585384/article/details/122118735