Apache Gobblin 分布式大数据集成框架

Apache Gobblin 是一个分布式大数据集成框架，用于流式和批处理数据生态系统。该项目 2014 年起源于 LinkedIn，2015 年开源，并于 2017 年 2 月进入 Apache 孵化器

通过简化跨多个执行环境、数据速度、规模、连接器等的接收、复制、组织和生命周期管理流程，Apache Gobblin 每天可用于集成数百 TB 和数千个数据集

• 在支持简单转换的同时，从各种来源提取和导出数据，并汇入和汇出数据湖。
• 湖中的数据组织（例如压缩、分区、重复数据删除）。
• 元数据驱动的湖泊内数据的生命周期和合规性管理（例如，数据保留、细粒度数据删除）

 Apache Gobblin 的详细介绍可查看：https://gobblin.apache.org/