Apache SeaTunnel社区发布最新Roadmap:定义数据集成未来

这篇文章介绍了ApacheSeaTunnel社区最新的Roadmap,重点在于增强核心功能、扩展连接器支持、支持K8s和Yarn、引入Catalog、TypeConverter和DataTypeConverter,以及改进用户体验。社区成员的贡献对SeaTunnel的发展至关重要,正在邀请更多开发者加入共创未来。
摘要由CSDN通过智能技术生成

随着春节假期的结束,我们迎来了充满希望的龙年,开源社区也呈现出一片繁荣的景象。

file

今天,我们激动地宣布Apache SeaTunnel社区最新Roadmap现已公开!在不断追求创新和卓越的道路上,我们致力于将SeaTunnel打造成为数据集成领域的领导者。

本次更新的路线图着重于增强Apache SeaTunnel的核心功能、扩展连接器生态系统、优化数据处理能力和提升用户体验。欢迎大家一起来共建!

支持在K8s和Yarn上运行

目前,Zeta引擎提交作业仅支持local模式和standalone模式,社区计划全面扩展Job运行环境,支持K8s和Yarn,特别针对CDC实时同步场景进行了优化,使得资源利用率和数据处理效率得到极大提升。这标志着SeaTunnel在面向大规模数据处理需求时,迈出了坚实的一步。

issuehttps://github.com/apache/seatunnel/issues/4386

支持更多的连接器

新增多个数据源和目标的连接器支持,进一步丰富了Apache SeaTunnel的应用场景。每一步扩展,都是我们为开发者打开更多可能性的实践。

Catalog支持更多连接器

类型转换器TypeConverter和数据类型转换器DataTypeConverter的设计和适配,TypeConverter的目标是让每种连接器更准确的描述数据库自身的数据类型和SeaTunnel数据类型之间的转换与逆转换,目前API层面应该完成了开发,后续需要所有的连接器进行适配实现,TypeConverter可以帮忙SeaTunnel更好的完成数据模型的推演以及自动建表时的建表语句生成。

DataTypeConverter将与TypeConverter一起帮SeaTunnel更好的完成数据类型在不同数据库之间的隐式转换,比如针对JDBC Oracle Sink的场景,写入SeaTunnel中的String类型时什么时候使用setString,什么时候使用blob需要DataTypeConverter将与TypeConverter结合来判断该字段的长度,目标端的字段类型等信息。

综上所述,通过引入Catalog适配、TypeConverter和DataTypeConverter,我们为数据结构的自动获取、数据类型的精确转换提供了强有力的支撑。

issue 传送地

Typeconverter:

https://github.com/apache/seatunnel/pull/5872

多表读取:

https://github.com/apache/seatunnel/issues/5677

多表写入:

https://github.com/apache/seatunnel/issues/5652

TableScouceFactory和TableSinkFactory:​

https://github.com/apache/seatunnel/issues/5651

事件通知机制

为了提升任务管理的效率和透明度,我们计划引入事件通知机制,使任务的各种状态和重要事件能够及时通知给用户。

表级别的监控

在最新的2.3.4版本中,随着多表同步功能的支持,表级别监控成为了必需。用户将能够通过监控信息了解到每张表的同步情况,进一步提升监控的细粒度。

脏数据收集

在数据同步过程中,无法写入目标端的数据将不再直接导致作业失败。通过脏数据收集功能,这些数据将被先行存储,不影响作业的正常运行,确保了数据处理流程的可持续性。

社区共建,共创未来

SeaTunnel社区正处于蓬勃发展之中,每一次更新都凝聚了社区成员的智慧和汗水,也社区的发展离不开每一位成员的贡献和支持,社区的里程远未结束,更多的挑战和机遇正等待着我们共同探索。

我们诚邀全球开发者、技术爱好者加入SeaTunnel社区,共同参与到这场创新的征程中来。

SeaTunnel社区的发展离不开每一位成员的贡献和支持。我们热情地邀请更多的开发者加入我们,不仅是为了共同推进这些激动人心的新功能,更是为了在开源的精神下,共同探索数据处理领域的无限可能。

"一人快跑,众人同行,方能远行。" —— SeaTunnel社区期待你的加入。

本文由 白鲸开源科技 提供发布支持!

  • 6
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

SeaTunnel

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值