数据集成
文章平均质量分 92
james二次元
分享大数据及AI相关技术,每天进步一点点,和大家一起学习、一起进步!
展开
-
数据集成之SeaTunnel
SeaTunnel(原名 Waterdrop)是一个开源的分布式数据集成平台,专注于实时数据流处理和离线批处理的统一处理能力。它旨在提供一个高效、易用的 ETL(Extract, Transform, Load)工具,可以帮助用户在大规模数据环境中轻松进行数据集成、清洗、转换和加载。SeaTunnel 兼容 Apache Spark 和 Apache Flink,能够处理海量数据,并支持多种数据源和目标。原创 2024-09-03 05:30:00 · 1642 阅读 · 0 评论 -
计算中间件平台之Linkis
Linkis 是由WeBank自主研发的一款面向大数据和AI的计算中间件平台。它的设计初衷是为了简化和统一各种计算引擎的调用和管理,降低使用大数据和AI技术的门槛。Linkis可以帮助用户在一个平台上方便地调用各种数据处理引擎,如Hadoop、Spark、Hive、Flink等,从而实现对数据的统一管理和分析。原创 2024-08-19 05:30:00 · 1067 阅读 · 0 评论 -
数据同步工具之DataX
DataX 是由阿里巴巴开源的一款高效的数据同步工具,广泛用于不同存储系统之间的数据交换。作为一款轻量级的数据集成工具,DataX 能够在多种数据源和数据目标之间进行数据迁移、清洗和同步操作。以下是对 DataX 的详细介绍原创 2024-08-13 06:00:00 · 763 阅读 · 0 评论