Apache SeaTunnel社区发布最新Roadmap：定义数据集成未来

随着春节假期的结束，我们迎来了充满希望的龙年，开源社区也呈现出一片繁荣的景象。

今天，我们激动地宣布Apache SeaTunnel社区最新Roadmap现已公开！在不断追求创新和卓越的道路上，我们致力于将SeaTunnel打造成为数据集成领域的领导者。

本次更新的路线图着重于增强Apache SeaTunnel的核心功能、扩展连接器生态系统、优化数据处理能力和提升用户体验。欢迎大家一起来共建！

支持在K8s和Yarn上运行

目前，Zeta引擎提交作业仅支持local模式和standalone模式，社区计划全面扩展Job运行环境，支持K8s和Yarn，特别针对CDC实时同步场景进行了优化，使得资源利用率和数据处理效率得到极大提升。这标志着SeaTunnel在面向大规模数据处理需求时，迈出了坚实的一步。

issue：https://github.com/apache/seatunnel/issues/4386

支持更多的连接器

新增多个数据源和目标的连接器支持，进一步丰富了Apache SeaTunnel的应用场景。每一步扩展，都是我们为开发者打开更多可能性的实践。

Catalog支持更多连接器

类型转换器TypeConverter和数据类型转换器DataTypeConverter的设计和适配，TypeConverter的目标是让每种连接器更准确的描述数据库自身的数据类型和SeaTunnel数据类型之间的转换与逆转换，目前API层面应该完成了开发，后续需要所有的连接器进行适配实现，TypeConverter可以帮忙SeaTunnel更好的完成数据模型的推演以及自动建表时的建表语句生成。

DataTypeConverter将与TypeConverter一起帮SeaTunnel更好的完成数据类型在不同数据库之间的隐式转换，比如针对JDBC Oracle Sink的场景，写入SeaTunnel中的String类型时什么时候使用setString，什么时候使用blob需要DataTypeConverter将与TypeConverter结合来判断该字段的长度，目标端的字段类型等信息。

综上所述，通过引入Catalog适配、TypeConverter和DataTypeConverter，我们为数据结构的自动获取、数据类型的精确转换提供了强有力的支撑。

issue 传送地

Typeconverter：

https://github.com/apache/seatunnel/pull/5872

多表读取：

https://github.com/apache/seatunnel/issues/5677

多表写入：

https://github.com/apache/seatunnel/issues/5652

TableScouceFactory和TableSinkFactory：​

https://github.com/apache/seatunnel/issues/5651

事件通知机制

为了提升任务管理的效率和透明度，我们计划引入事件通知机制，使任务的各种状态和重要事件能够及时通知给用户。

表级别的监控

在最新的2.3.4版本中，随着多表同步功能的支持，表级别监控成为了必需。用户将能够通过监控信息了解到每张表的同步情况，进一步提升监控的细粒度。

脏数据收集

在数据同步过程中，无法写入目标端的数据将不再直接导致作业失败。通过脏数据收集功能，这些数据将被先行存储，不影响作业的正常运行，确保了数据处理流程的可持续性。

社区共建，共创未来

SeaTunnel社区正处于蓬勃发展之中，每一次更新都凝聚了社区成员的智慧和汗水，也社区的发展离不开每一位成员的贡献和支持，社区的里程远未结束，更多的挑战和机遇正等待着我们共同探索。

我们诚邀全球开发者、技术爱好者加入SeaTunnel社区，共同参与到这场创新的征程中来。

SeaTunnel社区的发展离不开每一位成员的贡献和支持。我们热情地邀请更多的开发者加入我们，不仅是为了共同推进这些激动人心的新功能，更是为了在开源的精神下，共同探索数据处理领域的无限可能。

"一人快跑，众人同行，方能远行。" —— SeaTunnel社区期待你的加入。

本文由 白鲸开源科技 提供发布支持！