数据科学/分析党的福音—亚马逊云科技Amazon Zero ETL(零ETL)技术介绍

2023年亚马逊云科技全球大会Re:invent上，数据产品VP Swami博士正式推出了Amazon Zero ETL服务，支持业务大数据从Aurora向Redshift的实时导入、分析。

过去在亚马逊云科技上构建数据分析平台，最令人头疼的莫属ETL环节。遇到的挑战包括:
▶️提取复杂: 需要从多个数据源提取不同类型数据，集中到数据仓库
▶️预处理流程复杂、成本高: 搭建Data Pipeline对数据预处理，管理配置繁琐，大量的数据也需要大量的算计。以为着大量的成本
▶️分析实时性问题:由于ETL流程会出现延迟，数据实时性无法保证
▶️安全性: ETL作为中间环节，需要对数据做全生命周期保护、权限的管理等

1️⃣Zero ETL是什么？
亚马逊云科技将RedShift与Aurora直接做了集成，省去了ETL流程。不仅不需为数据库格式转换、数据管道配置烦恼，而且可以直接从数据仓库中实时读取多个数据库中的数据。解决了ETL配置、管理复杂、不能实时分析的问题

2️⃣在Redshift分析数据的优势？

Redshift作为亚马逊云科技上的数据仓库，它具备以下优势
▶️自带了支持SQL、Python、Java多种语言的分析功能
▶️支持从多种数据源导入数据，如S3、RDS、Data Lake等
▶️Redshift支持Serverless形式，可以根据API调用次数收费，省去成本
▶️无缝集成数据源，可以更安全的分析数据
▶️只需要用SQL语句就可以借助ML和大模型的能力对数据进行建模、分析等

3️⃣Zero ETL的价格
零，该功能无需任何费用

4️⃣如何使用Zero-ETL？
1)打开RDS服务，在左边栏打开Zero ETL功能

2)配置RDS自定义参数组，修改中的参数

3)配置Redshift工作组，授权RDS访问

4)目前拥有一个Aurora Mysql数据库，以及Redshift数据仓库
5)创建Zero ETL集成，包括配置集成名称、选择数据源(RDS)、选择数据集成目标(Redshift)、配置加密方式(默认AWS托管KMS秘钥，或者用户自定义KMS秘钥)
6)在redshift中确认创建成功