中电信翼康济世数据中台基于 Apache SeaTunnel 构建数据集成平台经验分享

作者 | 中电信翼康工程师 代来

编辑 | Debra Chen

一。引言

Apache SeaTunnel 作为一个高性能、易用的数据集成框架，是快速落地数据集成平台的基石。本文将从数据中台战略背景、数据集成平台技术选型、降低 Apache SeaTunnel 使用门槛及未来展望几个方面，详细讲解我们是如何基于 Apache SeaTunnel 快速构建数据集成平台的。

二。数据中台战略背景

随着医疗行业对数据驱动决策的需求不断增加，挖掘医疗数据要素价值，激发新质生产力潜能机遇迫在眉睫。中电信翼康通过自研的 "数据中台" 开展医疗健康数据要素全流程管理和一站式赋能，打造医疗健康数据要素运营底座，助力医疗数据的价值挖掘与 AI 模型应用。在此战略背景下，数据集成平台作为我们数据中台的 "大动脉"，需要能够快速落地且能够满足中台复杂的数据集成场景需求。

三。数据集成平台技术选型

3.1. 关键考虑因素

在对数据集成平台底层进行技术选型时，需要考虑以下几个关键因素：

• 性能：数据集成引擎需要具备高吞吐量和低延迟，能够高效处理海量数据。
• 扩展性：数据集成引擎应具有良好的扩展性，能够根据业务需求动态扩展处理能力。
• 易用性：数据集成平台应易于使用和维护，减少对专业技术人员的依赖。
• 生态支持：数据集成引擎应支持多种数据源和目标，具备良好的生态系统支持。

3.2. 选择 Apache SeaTunnel 的优势

目前，市场上主流的数据集成技术主有 Sqoop、Datax、Kettle、Flink CDC、Canal、Airbyte 等。Apache SeaTunnel 具备以下优势，使其成为我们数据集成平台的理想选择：

1. 性能

   根据官方最新公布的数据来看，Apache SeaTunnel 在相同测试场景下比 Datax 快 40%-80%，比 Airbyte 快 30 倍，其具有无与伦比的性能优势。我们也在客户现场亲测了一下，8C32G 服务器上做同数据库上 jdbc-source 到 jdbc-sink 的性能测试，我们的数据集成平台的速率平均比第三方平台快近两万条每秒。优秀的性能源自于 SeaTunnel 优秀的设计，以 JDBC 连接器为例，SeaTunnel 使用了数据库连接复用、动态分片、而 SeaTunnel 的 zeta 引擎更是实现了动态线程共享技术。在完成数据同步的同时尽量减少资源的使用，提高效率。

2. 部署方式

   在我们的客户场景中，大多数的医院只能提供前端采集节点的物理机给我们部署采集服务，而平台是部署在中心端的，只有采集端到医院数据库网络是通的，中心端到前端采集节点网络是通的，不能夸端通信。只有少数客户所有的服务可以部署在一套环境中。这就要求我们的部署必须是非常灵活的。SeaTunnel 既支持分布式部署也支持单机部署，其无中心化的设计确保系统的高可用机制和易扩展。其可让每个节点可以既是 Master 也可以同时是 Worker，也可以让 Master 和 Worker 分开部署。前者适合中小规模部署，后者适合超大规模部署。

3. 容错

   SeaTunnel 的容错也是非常优秀的。

   从集群角度看，当集群某一节点宕机，其任务可以自动容错到其他集群节点。当我们开启集群的 IMAP 持久化之后，即使集群节点全部宕机，也可以通过持久化的数据在重启集群时自动恢复。这里需要注意的是当集群第一个节点启动后会加载持久化的 IMAP 数据，因此集群节点之间启动时间差不宜太长，否则可能会造成所有任务都打到第一个启动的节点上去。

   从作业的角度看，SeaTunnel 也拥有 checkpoint 机制，当作业因意外突然异常时，也能从 checkpoint 恢复从而保证昂贵的数据同步任务不用重新同步。此外，由于网络延迟、节点故障等原因，分布式系统中的数据可能具有一致性问题，SeaTunnel 在相关连接器中也实现了二阶段提交，能够保证数据的一致性。

4. 丰富生态

   SeaTunnel 已经支持 100 + 种数据源，并且易于扩展和支持自己的生态。其支持整库同步、多表同步、断点续传。更支持自动建表，这种功能体现出 SeaTunnel 设计的用心，这个功能在平台侧易实现且于用户而言是非常友好的功能，这在同步的表非常多的时候尤其能体现出其优势。

5. 集成引擎架构

   SeaTunnel 的 EtLT 的架构非常适合数据中台的场景，在数据中台场景中，90% 的场景都是将数据从源端搬运到目标端，其中可能包含转换 (Transform)，但这个 T 是一个小写的 t，其主要包括复制列、过滤列、切分字段等转换而不是 join 或者 group by 之类的操作。这在数据中台中非常常见，当数据进入数仓平台之后在数据开发阶段才有大 T 的需求。此外 EtLT 的设计可谓是 ETL 的升级版，在很多场景下其数据同步的速率是远远高于 ETL 架构的。

6. 平台架构

   如果我们不选择 SeaTunnel 作为数据集成引擎，那么我们的平台架构可能就是这样子：

   

   这种架构的劣势就是，使用多数据集成引擎，维护成本高昂，另外其还需要 flink 的执行环境来完成实时同步任务。从快速落地数据集成平台角度来看不是很友好，需要深入研究多数据集成引擎。当我们采用 Seatunnel，则数据集成平台的架构可以优化成下面这样子：

我们只需要研究 Apache seatunnel，并基于此快速落地数据集成平台，如果有不满足需求的也可以基于其二次开发，开发运维成本都相对前者低很多。

四。如何降低 Apache SeaTunnel 使用门槛

1. 友好的功能界面

为了降低使用门槛，可以提供一个可视化的配置界面，使用户通过图形化界面来配置数据集成任务，而无需编写复杂的配置文件。

批流一体的任务创建

选择数据源进行配置，支持参数配置（可选）

同步任务配置映射关系，可以灵活的调整字段顺序并且支持自定义字段值，增加缺省字段，删除多余字段。

针对复杂 sql 进行数据关联查询

支持批任务周期性调度方式以满足定时全量或增量同步

支持全局参数设置

以上为我们产品功能的一些样例截图，整个产品的功能远不止如此，通过这些样例抛砖引玉，帮助用户如何快速落地数据集成平台起到一个引导作用。

2. 提供丰富的文档和示例

优秀的数据集成平台当然少不了丰富和优秀的文档，通过提供详细的使用文档和丰富的示例代码，帮助用户快速上手。包括如何安装、配置和调试，以及常见问题的解决方案。

主要文档包括环境要求、项目配置、配置文件详解、运行测试、常见问题解决方案等，以常见问题解决方案为例：

常见问题解决方案

数据源连接问题：

确保数据源地址、端口和认证信息正确无误。 检查网络连接和防火墙设置。

数据转换错误：

检查转换规则是否正确。 确保所有字段和类型都匹配。

性能问题：

调整 Connector 参数和其他配置以提高性能。 优化数据转换逻辑。

插件问题：

确保所有必要的插件都已安装并正确配置。 检查插件的版本兼容性。

3. 集成自动化部署工具

SeaTunnel 的自动化部署和管理，进一步降低使用和维护的难度。实现了这种根据服务器地址信息一键部署 sSeaTunnel 服务的功能。

下面是实现了对于部署的 seatunnel 服务进行实时监控

4. 社区支持

在整个数据集成平台的开发及实施过程中，难免会遇到一些问题，有的问题社区已经有一部分经验了，例如 SeaTunnel 集群的容错和恢复等功能，社区都能积极的给予回答和帮助。此外，有些功能不能满足我们的实际业务需求，例如在湖仓一体的数据中台架构中，我们使用的 Apache paimon 作为数据湖，但社区的 Paimon connector 尚不能完全满足我们的业务需求，我们先后针对 Paimon connector 进行了 BUG 修复及增加了很多新 Feature

• 支持 cdc 写 paimon
• 支持 paimon sink 自动建表，自动建表支持指定 partition key、primary key 并且支持指定多分桶 (大数据量写场景下可提高写入性能)
• 支持 paimon 的多表 sink
• 支持指定格式写 paimon (默认是 orc，可指定 parquet、avro 格式)
• 解决 date 字段写入不正确的问题、支持 timestmap (n) 类型
• 支持 kerberos 认证及 HA 模式 hdfs 集群
• 支持 Hive catalog
• 支持写入 Sink 表前前置类型转换校验
• 修复批写数据丢失问题

以上只是对社区贡献的缩影，我们对社区的贡献不止于此，既然选择了 Apache SeaTunnel 作为数据集成引擎，享受了社区带来的益处，当然作为回报我们也应该积极的贡献社区、反馈社区让大家一起越来越优秀。

五。未来与展望

随着医疗行业对大数据的需求不断增长，Seatunnel 作为一种高效、灵活的数据集成工具，将在医疗信息化建设中发挥重要作用，特别是在数据集成和处理方面。随着医疗行业对数据驱动决策的需求不断增加，Seatunnel 的功能和特性能够很好地满足医疗大数据平台的需求。以下是 Seatunnel 在医疗行业的一些展望：

1. 多数据源集成

集成医院的电子病历系统、影像信息系统（PACS）、实验室信息系统（LIS）等，实现跨系统的数据共享。

2. 数据标准

支持 HL7 FHIR（Fast Healthcare Interoperability Resources）等医疗行业标准，提高数据的标准化和互操作性。

3. 安全性和隐私保护

• 数据加密：采用加密技术保护数据安全，尤其是在传输过程中。

• 匿名化和脱敏：实现数据的匿名化和脱敏处理，保护患者隐私。

4. AI 与机器学习集成

数据集成平台将引入更多的智能化特性，如智能推荐配置等，帮助用户更高效地进行数据集成和处理。

六。总结

Apache SeaTunnel 作为一个高效、灵活的数据集成平台，在数据中台战略中扮演着重要角色。通过本文的介绍，读者可以了解如何基于 SeaTunnel 快速搭建数据集成平台，并在实际应用中灵活运用。未来，随着技术的不断发展，SeaTunnel 将继续在数据集成领域发挥重要作用，助力企业实现数据驱动的业务变革。