Apache SeaTunnel (Incubating) 2.1.0 发布，内核重构、全面支持 Flink

最新推荐文章于 2024-06-13 09:34:25 发布
最新推荐文章于 2024-06-13 09:34:25 发布
阅读量566 收藏
点赞数
文章标签： 大数据 java 人工智能 编程语言 python
原文链接：https://mp.weixin.qq.com/s?__biz=MzA4NDYxNTc2NA==&mid=2247503642&idx=1&sn=182bd446da63a31abd4ce0254fd6bb0b&chksm=9fe6f821a89171377e777648a5968f0f6198842023bb29313d9aa6f24cc351eefb7326119809&scene=126&&sessionid=0
版权

点击蓝字 关注我们

b8b9ef0af8832777658f429bc504bcd2.png

2021 年 12 月 9 日，SeaTunnel (原名 Waterdrop) 进入 Apache 孵化器。4 个月后的 2022 年 3 月 18 日，其首个 Apache 版本正式发布，并且保证了首个版本一次性通过检查。这意味着 2.1.0 版本，是经过 SeaTunnel 社区和 Apache 孵化器投票检查发布的官方版本，企业和个人用户可以放心安全使用。

2.1.0 下载地址：

https://seatunnel.apache.org/download

GitHub Release:

https://github.com/apache/incubator-seatunnel/releases/tag/2.1.0

备注：

软件许可协议是一种具有法律性质的合同或指导，目的在于规范受著作权保护的软件的使用或散布行为。通常的许可方式会允许用户来使用单一或多份该软件的复制，因为若无许可而径予使用该软件，将违反著作权法给予该软件开发者的专属保护。效用上来说，软件许可是软件开发者与其用户之间的一份合约，用来保证在符合许可范围的情况下，用户将不会受到控告。

进入孵化器前后，我们花费了大量的时间来梳理整个项目的外部依赖以确保整个项目的合规性。需要说明的是，开源软件选择怎样的 License 并不意外着项目本身就一定合规。而 ASF 严苛的版本检查最大程度地保证了软件 License 的合规性，以及软件合理合法的流通分发。

01

本次发布版本说明

新特性

1.对微内核插件化的架构内核部分进行了大量优化，内核以 Java 为主，并对命令行参数解析，插件加载等做了大量改进，同时插件扩展可根据用户（或贡献者）所擅长的语言去做开发，极大程度地降低了插件开发门槛。

2.全面支持 Flink，但同时用户也可自由选择底层引擎，本次更新也为大家带来了大量的 Flink 插件，也欢迎大家后续贡献相关插件。

3.提供本地开发极速启动环境支持（example），贡献者或用户可以在不更改任何代码的情况下快速丝滑启动，方便本地快速开发调试体验。对于需要自定义插件的贡献者或者用户来讲，这无疑是个令人激动的好消息。事实上，我们在发布前的测试中，也有大量贡献者采用这种方式快速对插件进行测试。

4.提供 Docker 容器安装，用户可以极快地通过 Docker 部署安装使用 SeaTunnel，未来我们也会围绕 Docker&K8s 做出大量迭代，欢迎大家讨论交流。

具体功能说明

  • 使用 JCommander 来做命令行参数解析，使得开发者更关注逻辑本身。

  • Flink 从 1.9 升级至 1.13.5，保持兼容旧版本，同时为后续 CDC 做好铺垫。

  • 支持 Doris 、Hudi、Phoenix、Druid 等 Connector 插件，完整的插件支持你可以在这里找到 [plugins-supported-by-seatunnel] 。

  • 本地开发极速启动环境支持，你可以在使用 example 模块，不修改任何代码的前提下快速启动，方便开发者本地调试体验。

  • 支持通过 Docker 容器安装和试用 SeaTunnel。

  • Sql 组件支持 SET 语句，支持配置变量。

  • Config 模块重构，减少贡献者理解成本，同时保证项目的代码合规 (License)。

  • 项目结构重新调整，以适应新的 Roadmap。

  • CI&CD 的支持，代码质量自动化管控，（后续会有更多的计划来支持 CI&CD 开发）。

02

致谢

感谢以下参与贡献的同学(为 GitHub ID，排名不分先后)：

Al-assad, BenJFan, CalvinKirs, JNSimba, JiangTChen, Rianico, TyrantLucifer, Yves-yuan, ZhangchengHu0923, agendazhang, an-shi-chi-fan, asdf2014, bigdataf, chaozwn, choucmei, dailidong, dongzl, felix-thinkingdata, fengyuceNv, garyelephant, kalencaya, kezhenxu94, legendtkl, leo65535, liujinhui1994, mans2singh, marklightning, mosence, nielifeng, ououtt, ruanwenjun, simon824, totalo, wntp, wolfboys, wuchunfu, xbkaishui, xtr1993, yx91490, zhangbutao, zhaomin1423, zhongjiajie, zhuangchong, zixi0825.

同时也诚挚的感谢我们的 Mentor ：

Zhenxu Ke，Willem Jiang， William Guo，LiDong Dai ，Ted Liu, Kevin，JB

在这个过程中给予的帮助。

03

未来几个版本的规划

  • CDC 的支持；

  • 监控体系的支持；

  • UI 系统的支持；

  • 更多的 Connector 支持，以及更高效的 Sink 支持，如 ClickHouse，很快会在下个版本跟大家见面。

后续 Feature 是由社区共同决定的，Apache SeaTunnel (Incubating) 呼吁大家一同参与社区后续建设。

04

社区发展

近期概况

自进入 Apache 孵化器以来，贡献者从13 人增长至 55 人，且持续保持上升趋势，平均周 commits维持在20+，来自不同公司的三位贡献者(Lei Xie, HuaJie Wang,Chunfu Wu,) 通过他们对社区的贡献被邀请成为Committer。

我们举办了两场MeetUp，来自 B 站，OPPO、唯品会等企业讲师分享了 SeaTunnel 在他们在企业中的大规模生产落地实践(后续我们也会保持每月一次的 meetup，欢迎各位使用 SeaTunnel 的用户或者贡献者分享 SeaTunnel 和你们的故事)。

Apache SeaTunnel (Incubating) 的用户

c55b33f852e4457fff6506621f1adfad.png

Note:

仅包含已登记用户 Apache SeaTunnel (Incubating) 目前登记用户如下，如果您也在使用 Apache SeaTunnel，欢迎在 Who is using SeaTunne!

 (链接：https://github.com/apache/incubator-seatunnel/issues/686）

中登记！

05

PPMC 感言

Apache SeaTunnel (Incubating) PPMC LiFeng Nie 在谈及首个 Apache 版本发布的时候说，从进入 Apache Incubator 的第一天，我们就一直在努力学习 Apache Way 以及各种 Apache 政策，第一个版本发布的过程花费了大量的时间（主要是合规性），但我们认为这种时间是值得花费的，这也是我们选择进入 Apache 的一个很重要的原因，我们需要让用户用得放心，而 Apache 无疑是最佳选择，其 License 近乎苛刻的检查会让用户尽可能地避免相关的合规性问题，保证软件合理合法的流通。另外，其践行 Apache Way，例如公益使命、实用主义、社区胜于代码、公开透明与共识决策、任人唯贤等，可以帮助 SeaTunnel 社区更加开放、透明，向多元化方向发展。

参与贡献

4a03b3d806878bc5dd8f96ac2fc79702.png

随着国内开源的迅猛崛起，Apache DolphinScheduler 社区迎来蓬勃发展，为了做更好用、易用的调度，真诚欢迎热爱开源的伙伴加入到开源社区中来，为中国开源崛起献上一份自己的力量，让本土开源走向全球。

8e4d6c97fca5a27f89a924b876ea43a1.png

参与 DolphinScheduler 社区有非常多的参与贡献的方式，包括：

59b2266b59cc55bcaba4246d49132a4b.png

贡献第一个PR(文档、代码) 我们也希望是简单的，第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。

社区汇总了以下适合新手的问题列表：https://github.com/apache/dolphinscheduler/issues/5689

非新手问题列表：https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22

如何参与贡献链接：https://dolphinscheduler.apache.org/zh-cn/docs/development/contribute.html

来吧，DolphinScheduler开源社区需要您的参与，为中国开源崛起添砖加瓦吧，哪怕只是小小的一块瓦，汇聚起来的力量也是巨大的。

参与开源可以近距离与各路高手切磋，迅速提升自己的技能，如果您想参与贡献，我们有个贡献者种子孵化群，可以添加社区小助手微信(Leonard-ds) ，手把手教会您( 贡献者不分水平高低，有问必答，关键是有一颗愿意贡献的心 )。

添加小助手微信时请说明想参与贡献。

来吧，开源社区非常期待您的参与。

活动推荐

c14741dc4eca61f3c8f5389ccce6b67a.png

2022 年 3 月 26 日（星期六）， Apache DolphinScheduler 和 Apache ShenYu(Incubating) 两大新生开源力量将携手，邀请来自 YY 直播、自如、政采云等团队的实战型专家，更有 Apache ShenYu 创始人 & PPMC  & Dromara 开源组织创始人，以及Apache ShenYu Committer 为企业大数据开发者、开源技术爱好者带来一场技术盛宴。

本次活动受疫情影响仍以线上直播的形式开展，活动现已开放免费报名，欢迎扫描下图二维码，或点击“阅读原文”免费报名！

c49fe1fe34192a1240a2bd1bc7e09c1b.png

扫码观看直播

973e359ee992c359529259e4511d5234.png

扫码入直播群

f23a67c6c82bbcca063e0d5a15e5fd27.png


☞全面拥抱 K8s，ApacheDolphinScheduler 应用与支持 K8s 任务的探索

☞Apache DolphinScheduler&ShenYu(Incubating)联合 Meetup，暖春 3 月与你相约

☞杭州思科对 Apache DolphinScheduler Alert 模块的改造

☞日均处理 10000+ 工作流实例，Apache DolphinScheduler 在 360 数科的实践

☞Apache DolphinScheduler 2.0.5 发布，Worker 容错流程优化

☞Apache DolphinScheduler 版本控制核心原理揭

☞喜讯 | Apache DolphinScheduler PMC Chair 代立冬，PMC 郭强获邀成为 ASF Member

☞途家大数据平台基于 Apache DolphinScheduler 的探索与实践

点击阅读原文，免费报名！

你“在看”我吗？

a04f8ac4e0a86c705ce9844036c97e18.png

DolphinScheduler社区
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
seatunnel v2.0 初学极速安装包-源码+文档+发布包+flink+依赖
01-07
incubator-seatunnel-2.0.0-pre.zip： 源码可以编译打包，放入waterdrop dir的lib下，直接启动，已去除与flink冲突的依赖codehaus.janino waterdrop-dist-2.0.0-alpha-2.11.8-release.zip： 已经打好的包 flink-1.9.0-bin-scala_2.12.tgz： v2.0只支持flink-1.9.0 flink-shaded-hadoop-2-uber-2.8.3-9.0.jar：flink checkpoint hadoop依赖，将flink-shaded-hadoop-2-uber.jar放入flink dir的lib下
Apache SeaTunnel：新一代高性能、分布式、海量数据集成工具从入门到实践
分享云原生大数据技术和个人成长、职业发展相关内容
11-08 8432
本文介绍Apache SeaTunnel 以及关于Apache SeaTunnel的部署和使用。 Apache SeaTunnel是新一代高性能、分布式、海量数据集成工具，支持上百种数据源 ( Database/Cloud/SaaS ) 支持海量数据的实时 CDC 和批量同步，可以稳定高效地同步万亿级数据，
推荐一款强大的Docker SSH隧道工具：Docker SSH Tunnel
最新发布
gitblog_00016的博客
06-13 329
推荐一款强大的Docker SSH隧道工具：Docker SSH Tunnel 项目地址:https://gitcode.com/cagataygurturk/docker-ssh-tunnel 在云计算和分布式系统中，安全地访问远程资源是至关重要的。今天，我们向您推荐一个开源项目——Docker SSH Tunnel，它是一个简单易用的SSH隧道容器，可帮助您轻松创建对远程服务器的安全连接。 1...
【安装部署】Apache SeaTunnel 和 Web快速安装详解
weixin_54625990的博客
04-16 988
版本说明 由于作者目前接触当前最新版本为2.3.4 但是官方提供的web版本未1.0.0，不兼容2.3.4，因此这里仍然使用2.3.3版本。 可以自定义兼容处理，官方提供了文档：https://mp.weixin.qq.com/s/Al1VmBoOKu2P02sBOTB6DQ 因为大部分用户使用SeaTunnel Web都是基于SeaTunnel-2.3.3 版本做的适配,而最新发布的SeaTunnel2.3.4部分API发生了改动导致直接升级的过程中会出现API不兼容的问题，所以本篇文章重点来了:我们需要
SeaTunnel下载安装与使用
weixin_45322869的博客
07-13 5016
SeaTunnel是一个简单易用的数据集成框架，可运行于自身引擎或架构于Apache Spark 和 Apache Flink之上。数据集成是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中，从而为企业提供全面的数据共享。SeaTunnel支持海量数据的实时同步。它每天可以稳定高效地同步数百亿数据。SeaTunnel的前身是Waterdrop（中文名：水滴）自2021年10月12日更名为SeaTunnel。
SeaTunnel安装及测试
dwjlyl
12-09 5628
SeaTunnel安装及测试
apache-seatunnel-incubating-2.1.0-bin.tar
10-11
Apache Seatunnel，又名“Apache Flink 过滤器”，是一个数据处理框架，专注于数据预处理和转换。它提供了一种简单易用的方式，让用户能够通过配置文件定义数据流处理逻辑，支持多种数据源和数据 sink，使得在大数据...
apache-seatunnel-incubating-2.3.1源码
05-25
在"apache-seatunnel-incubating-2.3.1源码"中，我们可以深入学习以下几个关键知识点： 1. **数据处理框架**：Seatunnel作为一个数据处理框架，它提供了多种数据处理和转换操作，如过滤、清洗、聚合等，帮助用户在...
curator-framework-2.1.0-incubating.jar
06-01
高级 API 极大地简化了 ZooKeeper 的使用。 org.apache.curator/curator-framework/2.1.0-incubating/curator-framework-2.1.0-incubating.jar
apache-echarts-4.9.0-incubating-src.zip
05-07
"apache-echarts-4.9.0-incubating-src.zip" 这个压缩包包含了 ECharts 4.9.0 版本的源代码及相关资源，适合开发者进行深入研究和定制。其中各个文件的作用如下： 1. DISCLAIMER：这是一个法律声明文件，通常会列出...
apache-doris-flink-connector-1.14_2.12-1.0.3
05-05
Flink Doris Connector（apache-doris-flink-connector-1.14_2.12-1.0.3-incubating-src.tar.gz） Flink Doris Connector Version：1.0.3 Flink Version：1.14 Scala Version：2.12 Apache Doris是一个现代MPP...
Linux安装并使用seatunnel2.3.1
u010479989的博客
05-23 1514
通常不需要所有的连接器插件，所以你可以通过配置指定你需要的插件config/plugin_config，比如你只需要connector-console插件，那么你可以修改plugin_config为。修改了config下的hazelcast-client.yaml 和hazelcast.yaml。SeaTunnel是一个非常易用的超高性能分布式数据集成平台，支持海量数据的实时同步。将5801改为6801，任意一个没被使用的端口即可。这个命令执行的时间有点长，可以按需加载插件。可以直接通过命令执行。
一文搞定 Apache SeaTunnel 2.3.1 全流程部署使用
weixin_54625990的博客
06-07 2545
点击蓝字 关注我们作者 |caoyongfei部署1下载解压https://dlcdn.apache.org/incubator/SeaTunnel/2.3.1/apache-SeaTunnel-incubating-2.3.1-bin.tar.gz下载完毕之后上传到服务器上面并解压# 解压到了/opt/module目录下 tar -zxvf apache-SeaTunnel-incubatin...
Seatunnel系列之：部署Seatunnel
zhengzaifeidelushang的博客
03-13 2059
编辑config/v2.batch.config.template，决定了seatunnel启动后数据输入、处理、输出的方式和逻辑。以下是配置文件的示例，与上面提到的示例应用程序相同。env {source {schema = {fields {age = agesink {Console {编辑config/v2.streaming.conf.template，决定了seatunnel启动后数据输入、处理、输出的方式和逻辑。以下是配置文件的示例，与上面提到的示例应用程序相同。env {
9. seatunnel-incubating-2.1.2安装部署
QYmufeng的博客
07-28 1562
seatunnel
SeaTunnel集群安装部署
Jenya's blog
08-31 3199
SeaTunnel集群安装部署
Seatunnel和web快速安装详解
空城的博客
04-08 3084
Apache SeaTunnel里面的Connector对应的jar包需要自己下载，在执行自动下载jar包前，进入apache-seatunnel-2.3.3，查看vim bin/install-plugin.sh内容，主要内容就是下载jar包，默认是从mvvm下载，下载速度太慢，我这边安装了maven，并且配置了阿里云仓库，因此可以直接将下图中命令替换，从maven中下载，seatunnel提供了很多数据源jar包，需要下载好，否则会出现无法创建数据源等各种问题；看到是从阿里云下载的，等待下载完成即可。
seatunnel数据集成（一）简介与安装
不才伟才的博客
02-05 1157
在Apache的仓库下载相应的connector,下载时每个jar包在不同的路径下面，放到/SeaTunnel-2.3.1/connectors/SeaTunnel目录下。--check 检查config语法是否合法。--variable 应用配置里的变量赋值。下载完毕之后上传到服务器上面并解压。配置安装SeaTunnel的插件。--config 应用配置的路径。下载对应的connector。安装SeaTunnel。
Seatunnel-2.3.3 自打包 docker部署（含web）
qq_39820568的博客
04-28 1422
此篇重点是，自己将源码编译后，将打包文件部署在docker里（也可以直接用官网的）如果也有人是希望，将自己打包的源码部署了，可以参考可乐的这篇文章，这篇文章详细介绍了2.3.3的serve和web的源码启动流程。
apache seatunnel安装
08-22
为了安装Apache Seatunnel，您可以按照以下步骤进行操作： 1. 首先，您需要下载Apache Seatunnel的二进制文件。您可以在中找到下载链接。 2. 下载完成后，使用以下命令解压文件： ``` sudo tar -zxvf apache-seatunnel-incubating-2.1.3-bin.tar.gz ``` 3. 接下来，您需要配置环境变量。打开`/etc/profile`文件： ``` sudo vim /etc/profile ``` 4. 在文件末尾添加以下内容，并保存文件： ``` export SEATUNNEL_HOME=/usr/local/apache-seatunnel-incubating-2.1.3 export PATH=$PATH:${SEATUNNEL_HOME}/bin ``` 5. 让环境变量生效： ``` source /etc/profile ``` 现在，您已成功安装了Apache Seatunnel。您可以使用`start-seatunnel-spark.sh`命令提交Spark任务，或使用`start-seatunnel-flink.sh`命令提交Flink任务。 : https://join.slack.com/t/apacheseatunnel/shared_invite/zt-1kcxzyrxz-lKcF3BAyzHEmpcc4OSaCjQ : ``` #下载解压 sudo wget "apache-seatunnel-incubating-2.1.3-bin.tar.gz" sudo tar -zxvf apache-seatunnel-incubating-2.1.3-bin.tar.gz #配置环境变量 sudo vim /etc/profile export SEATUNNEL_HOME=/usr/local/apache-seatunnel-incubating-2.1.3 export PATH=$PATH:${SEATUNNEL_HOME}/bin #环境变量生效 source /etc/profile ``` : 提交Spark任务用`start-seatunnel-spark.sh`，提交Flink任务则用`start-seatunnel-flink.sh`。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [一文搞定 Apache SeaTunnel 2.3.1 全流程部署使用](https://blog.csdn.net/weixin_54625990/article/details/131099059)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* *3* [SeaTunnel安装及测试](https://blog.csdn.net/dwjlyl/article/details/128250253)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值