3 分钟部署 SeaTunnel Zeta 单节点 Standalone 模式环境

最新推荐文章于 2024-04-08 16:56:32 发布
最新推荐文章于 2024-04-08 16:56:32 发布
阅读量998 收藏 2
点赞数 1
文章标签： java apache maven linux mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_54625990/article/details/130717109
版权

点击蓝字 关注我们

0d869d1eeb41d0fb549e75a647937e38.png

部署环境（MacOS/Linux）

1.安装JDK环境

目前SeaTunnel支持运行在JDK8及以上的环境。用户需要自行安装JDK环境。

2.下载安装包

目前SeaTunnel的最新版本是2.3.1版本。这里我们安装部署2.3.1版本，如果你需要下载其它版本，可以从https://seatunnel.apache.org/download中查询对应的版本。

mkdir ~/seatunnel
cd ~/seatunnel
wget https://dlcdn.apache.org/incubator/seatunnel/2.3.1/apache-seatunnel-incubating-2.3.1-bin.tar.gz
tar -zxvf apache-seatunnel-incubating-2.3.1-bin.tar.gz

3.选择需要的插件

SeaTunnel的安装包中默认不包含同步数据需要的连接器插件，用户需要先编辑config目录下的plugin_config文件，这个文件中描述了需要下载和安装的连接器插件，默认所有已经支持的连接器插件都会下载和安装。我们可以修改该文件，删除我们不需要的插件，只保留我们需要的插件。

cd ~/seatunnel/apache-seatunnel-incubating-2.3.1
vi config/plugin_config

然后修改内容，本次我只需要JDBC，MySQL CDC，StarRocks ，Assert，Fake，Console这6个连接器，其它的删除，最终文件内容如下：

--connectors-v2--
connector-assert
connector-cdc-mysql
connector-jdbc
connector-starrocks
connector-fake
connector-console
--end--

4.运行下载安装命令

下面我们运行连接器下载安装命令，注意，这一步依赖你的机器上已经安装部署了Maven并且机器可以连接互联网，你可以通过如下命令确认是否安装了Maven：

mvn

如果显示如下信息，说明Maven环境已经安装部署好了，如果出现问题报错，请先安装部署或修复Maven的问题再进行下面的部署。

Apache Maven 3.6.3 (cecedd343002696d0abb50b32b541b8a6ba2883f)
Maven home: /Users/gaojun/app/apache-maven-3.6.3
Java version: 1.8.0_181, vendor: Oracle Corporation, runtime: /Library/Java/JavaVirtualMachines/jdk1.8.0_181.jdk/Contents/Home/jre
Default locale: zh_CN, platform encoding: UTF-8
OS name: "mac os x", version: "10.16", arch: "x86_64", family: "mac"

运行下载安装连接器插件的命令：

cd ~/seatunnel/apache-seatunnel-incubating-2.3.1
sh bin/install-plugin.sh

等待命令执行完成，连接器插件即下载安装完成。安装完成后可见~/seatunnel/apache-seatunnel-incubation-2.3.1/connectors/seatunnel/目录下已经有了安装好的连接器插件。

fd599a2dc472a5b3d8c34848af4bcdb3.png

5.启动一个单节点的SeaTunnel Zeta节点

cd ~/seatunnel/apache-seatunnel-incubating-2.3.1
nohup sh bin/seatunnel-cluster.sh 2>&1 &

通过jps命令我们能查看进程是否已经启动，进程名为SeaTunnelServer

jps

6.运行自带的离线批同步demo任务

在config目录下有一个自带的离线批同步任务的配置文件v2.batch.config.template，该文件定义了一个作业，使用一个叫FakeSource的Source连接器生成数据，并将数据发送给Console这个Sink，Console Sink的作用是将接收到的数据打印到控制台。

所以运行该作业可以看到在控制台中会打印数据，一共有32行数据将被打印，每条数据有两个字段(name, age)。v2.batch.config.template文件的内容如下:

env {
  # You can set SeaTunnel environment configuration here
  execution.parallelism = 2
  job.mode = "BATCH"
  checkpoint.interval = 10000
  #execution.checkpoint.interval = 10000
  #execution.checkpoint.data-uri = "hdfs://localhost:9000/checkpoint"
}

source {
  # This is a example source plugin **only for test and demonstrate the feature source plugin**
  FakeSource {
    parallelism = 2
    result_table_name = "fake"
    row.num = 16
    schema = {
      fields {
        name = "string"
        age = "int"
      }
    }
  }

  # If you would like to get more information about how to configure Seatunnel and see full list of source plugins,
  # please go to https://seatunnel.apache.org/docs/category/source-v2
}

sink {
  Console {
  }

  # If you would like to get more information about how to configure Seatunnel and see full list of sink plugins,
  # please go to https://seatunnel.apache.org/docs/category/sink-v2
}

执行该demo作业：

cd ~/seatunnel/apache-seatunnel-incubating-2.3.1
sh bin/seatunnel.sh --config config/v2.batch.config.template

作业运行完成后能够看到如下监控信息：

45feff07ebbe3a0ceeb7c0a83ae109f4.png

7.运行自带的实时同步demo作业

在config目录下有一个自带的实时同步任务的配置文件v2.streaming.conf.template，该文件定义了一个作业，使用一个叫FakeSource的Source连接器生成数据，并将数据发送给Console这个Sink，Console Sink的作用是将接收到的数据打印到控制台。

所以运行该作业可以看到在控制台中会打印数据，因为是实时作业，该作业不会自动停止，v2.streaming.conf.template文件的内容如下:

env {
  # You can set flink configuration here
  execution.parallelism = 2
  job.mode = "STREAMING"
  checkpoint.interval = 2000
  #execution.checkpoint.interval = 10000
  #execution.checkpoint.data-uri = "hdfs://localhost:9000/checkpoint"
}

source {
  # This is a example source plugin **only for test and demonstrate the feature source plugin**
  FakeSource {
    parallelism = 2
    result_table_name = "fake"
    row.num = 16
    schema = {
      fields {
        name = "string"
        age = "int"
      }
    }
  }

  # If you would like to get more information about how to configure Seatunnel and see full list of source plugins,
  # please go to https://seatunnel.apache.org/docs/category/source-v2
}

sink {
  Console {
  }

  # If you would like to get more information about how to configure Seatunnel and see full list of sink plugins,
  # please go to https://seatunnel.apache.org/docs/category/sink-v2
}

执行该demo作业：

cd ~/seatunnel/apache-seatunnel-incubating-2.3.1
sh bin/seatunnel.sh --config config/v2.streaming.conf.template

作业运行1分钟左右，应该能够看到如下监控信息：

b7e2e3285b896429a2c4c048f9f23951.png

说明作业正常运行，通过Control+C结束该作业，中止作业运行。

到此，SeaTunnel Zeta部署并验证完成。

Apache SeaTunnel

8a0dd15d1e580f28ec06869a4a02e79c.png

Apache SeaTunnel(Incubating) 是一个分布式、高性能、易扩展、用于海量数据（离线&实时）同步和转化的数据集成平台

仓库地址： 

https://github.com/apache/incubator-seatunnel

网址：

https://seatunnel.apache.org/

Proposal：

https://cwiki.apache.org/confluence/display/INCUBATOR/SeaTunnelPro

Apache SeaTunnel(Incubating)  下载地址：

https://seatunnel.apache.org/download

衷心欢迎更多人加入！

我们相信，在「Community Over Code」（社区大于代码）、「Open and Cooperation」（开放协作）、「Meritocracy」（精英管理）、以及「多样性与共识决策」等 The Apache Way 的指引下，我们将迎来更加多元化和包容的社区生态，共建开源精神带来的技术进步！

我们诚邀各位有志于让本土开源立足全球的伙伴加入 SeaTunnel 贡献者大家庭，一起共建开源!

提交问题和建议：

https://github.com/apache/incubator-seatunnel/issues

贡献代码：

https://github.com/apache/incubator-seatunnel/pulls

订阅社区开发邮件列表 : 

dev-subscribe@seatunnel.apache.org

开发邮件列表：

dev@seatunnel.apache.org

加入 Slack:

https://join.slack.com/t/apacheseatunnel/shared_invite/zt-1cmonqu2q-ljomD6bY1PQ~oOzfbxxXWQ

关注 Twitter: 

https://twitter.com/ASFSeaTunnel

活动推荐

SeaTunnel 开源之夏学生项目申请开启，单项最高获 12000 元奖金！

点击图片了解详情并报名🔽

c9e33ce712b0f75c5a75bb122f20352a.png

点击阅读原文，查看SeaTunnel所有项目！

e7814f162d2f8c81531a67e1d721fa22.png

SeaTunnel
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
zeta.rar_zeta_zeta converter_zeta 仿真
09-14
Zeta变换器，主要是对其中的参数设计考虑输出稳定性，MATLAB仿真文件
CentOs7.x安装部署SeaTunnelWeb遇到的坑
qq_34905631的博客
12-19 2694
本次分享就到此结束了，踩了一些坑，还是请教了官方的大佬才知道的是哪里有问题，希望我的分享对你有所帮助，请一键三连，么么么哒！
Seatunnel和web快速安装详解
最新发布
空城的博客
04-08 1573
Apache SeaTunnel里面的Connector对应的jar包需要自己下载，在执行自动下载jar包前，进入apache-seatunnel-2.3.3，查看vim bin/install-plugin.sh内容，主要内容就是下载jar包，默认是从mvvm下载，下载速度太慢，我这边安装了maven，并且配置了阿里云仓库，因此可以直接将下图中命令替换，从maven中下载，seatunnel提供了很多数据源jar包，需要下载好，否则会出现无法创建数据源等各种问题；看到是从阿里云下载的，等待下载完成即可。
zeta-lang：Zeta编程语言
02-01
Zeta编程语言 Zeta 0.1是用于教育目的的命令性编程语言，它支持对象定向和其他现代功能中的闭包。 Zeta是动态键入的 Zeta具有严格的词汇范围 代码的样子 // A counter fn makeCounter() { let count = 0; fn increment() { count = count + 1; print count; } return increment; } let counter = makeCounter(); counter(); // prints 1 counter(); // prints 2 counter(); // prints 3 安装 out目录包含以Zeta为主要类的类文件。 buildlinux.sh是为Linux系统编写的宽松脚本： $ git clone https://github.com/mirimmad/zeta-lang.git $ cd zeta-lang $ [sudo] sh buildlinux.sh $ zeta或$ zeta script.zt 要在Windows上安装
物联网ZETA生态白皮书
11-24
ZETA生态白皮书 1.物联网行业发展现在及LPWAN产业生态现状、ZETA发展分析； 2.ZETA技术详情介绍（技术概述、网络架构、协议特点、物理层技术介绍、协议安全以及LPWAN技术对比）； 3.ZETA生态产业链； 4.ZETA联盟生态发展规划； 5.ZETA优秀产品及应用案例分享。
用于连续电流模式操作的 Zeta 转换器仿真-研究论文
06-10
为了从未调节条件的输入中提取调节电源，zeta 转换器拓扑是电力电子电流模式操作中的主要应用。 Zeta 转换器可以接口用于高频应用，具有较小的开关应力，并且从给定的输入电压（低于和高于输出电压）获得稳定的输出电压，与 buck、boost、buck-boost 和 cuk 转换器相比，它提供了非具有适应性的脉动电流，具有缩短的稳定时间。 对于不同的占空比和恒定的开关频率，带阻性负载的 zeta 转换器为降压和升压应用提供了更好的结果。
seatunnel 2.3.3安装&seatunnel web安装部署
09-22
seatunnel 2.3.3安装&seatunnel web安装部署
SeaTunnel集群安装部署
Jenya's blog
08-31 2753
SeaTunnel集群安装部署
一文搞定 Apache SeaTunnel 2.3.1 全流程部署使用
weixin_54625990的博客
06-07 2418
点击蓝字 关注我们作者 |caoyongfei部署1下载解压https://dlcdn.apache.org/incubator/SeaTunnel/2.3.1/apache-SeaTunnel-incubating-2.3.1-bin.tar.gz下载完毕之后上传到服务器上面并解压# 解压到了/opt/module目录下 tar -zxvf apache-SeaTunnel-incubatin...
SeaTunnel及SeaTunnel Web部署指南(小白版)
最爱嫣夜来
11-23 9020
现在你能搜索到的SeaTunnel的安装。部署基本都有坑，官网的文档也是见到到相当于没有，基本很难找到一个适合新手小白第一次上手就能成功安装部署的版本，于是就有了这个部署指南的分享，小主已经把可能遇到的坑都填过了，希望大家都能安安稳稳上路，不掉坑，话不多说，走起~
Apache Seatunnel部署（apache-seatunnel-2.3.3-bin.tar.gz + apache-seatunnel-web-1.0.0-bin.tar.gz）
12-08 2435
还处在开发早期阶段，并不成熟，功能也不完善🍓安装seatunnel的目的，就是想参考下web界面，寻求针对表的拖拽处理（减少sql编写），目前看效果不理想，也只是一个简单的输入、输出表字段映射，因此暂告一段落。
zeta1.rar_zeta_zeta converter
07-14
zeta converter modelling in matlab simulink
海量数据同步首选 SeaTunnel Zeta 引擎正式发布！
weixin_54625990的博客
01-05 866
Apache SeaTunnel(incubating) 正式推出 2.3.0 正式版本，并正式发布自己的核心同步引擎 Zeta！此外，SeaTunnel 2.3.0 还带来了许多大家期待已久的新特性，包括支持 CDC、以及近百种 Connector 等。
一文教会你用Apache SeaTunnel Zeta离线把数据从MySQL同步到StarRocks
weixin_54625990的博客
05-22 1347
点击蓝字，关注我们????在上一篇文章中，我们介绍了如何下载安装部署SeaTunnel Zeta服务（3分钟部署SeaTunnel Zeta单节点Standalone模式环境），接下来我们介绍一下SeaTunnel支持的第一个同步场景：离线批量同步。顾名思意，离线批量同步需要用户定义好SeaTunnel JobConfig，选择批处理模式，作业启动后开始同步数据，当数据同步完成后作业完成退出。下面以My...
部署SeaTunnel分布式集群
zhengzaifeidelushang的博客
05-02 5459
基于Hazelcast，SeaTunnel Engine 集群是运行 SeaTunnel Engine Server 的集群成员网络。只需要将$SEATUNNEL_HOMESeaTunnel Engine节点上的目录复制到Client节点，并配置SEATUNNEL_HOME类似的SeaTunnel Engine Server节点即可。这个参数主要是用来做集群隔离的，我们可以用这个来区分不同的集群，比如cluster1，cluster2，这个也用来区分不同的业务。N是集群节点的编号。
SeaTunnel下载安装与使用
weixin_45322869的博客
07-13 4251
SeaTunnel是一个简单易用的数据集成框架，可运行于自身引擎或架构于Apache Spark 和 Apache Flink之上。数据集成是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中，从而为企业提供全面的数据共享。SeaTunnel支持海量数据的实时同步。它每天可以稳定高效地同步数百亿数据。SeaTunnel的前身是Waterdrop（中文名：水滴）自2021年10月12日更名为SeaTunnel。
Seatunnel系列之：部署Seatunnel
zhengzaifeidelushang的博客
03-13 1285
编辑config/v2.batch.config.template，决定了seatunnel启动后数据输入、处理、输出的方式和逻辑。以下是配置文件的示例，与上面提到的示例应用程序相同。env {source {schema = {fields {age = agesink {Console {编辑config/v2.streaming.conf.template，决定了seatunnel启动后数据输入、处理、输出的方式和逻辑。以下是配置文件的示例，与上面提到的示例应用程序相同。env {
seatunnel入门案例，集群模式
javaMylief的博客
06-13 2578
启动任务之后会有一个jobid，如果直接kill 进程是不管用的，seatunnel任务依然会执行，需要使用 -can jobid 结束任务。seatunnel 包括三种执行引擎。
Seatunnel及web安装搭建部署流程
u013995172的专栏
11-15 5600
如有需要可以访问https://seatunnel.apache.org/docs/seatunnel-engine/deployment/#6-config-seatunnel-engine-client。从https://seatunnel.apache.org/download/下载apache-seatunnel-2.3.3-bin.tar.gz。将相关jar包复制到/opt/seatunnel/web/apache-seatunnel-web-1.0.0-bin/libs。
编写三维8节点和20节点等参单元程序
06-07
以下是三维8节点和20节点等参单元程序的示例代码： ```python import numpy as np # 8节点等参单元 class Element8: def __init__(self, nodes): self.nodes = nodes def shape_func(self, xi, eta, zeta): N = np.zeros((8, 1)) N[0] = (1 - xi) * (1 - eta) * (1 - zeta) / 8 N[1] = (1 + xi) * (1 - eta) * (1 - zeta) / 8 N[2] = (1 + xi) * (1 + eta) * (1 - zeta) / 8 N[3] = (1 - xi) * (1 + eta) * (1 - zeta) / 8 N[4] = (1 - xi) * (1 - eta) * (1 + zeta) / 8 N[5] = (1 + xi) * (1 - eta) * (1 + zeta) / 8 N[6] = (1 + xi) * (1 + eta) * (1 + zeta) / 8 N[7] = (1 - xi) * (1 + eta) * (1 + zeta) / 8 return N def jacobian(self, xi, eta, zeta): J = np.zeros((3, 3)) J[0, :] = (-self.nodes[0] + self.nodes[1] + self.nodes[2] - self.nodes[3] - self.nodes[4] + self.nodes[5] + self.nodes[6] - self.nodes[7]) / 8 J[1, :] = (-self.nodes[0] - self.nodes[1] + self.nodes[2] + self.nodes[3] - self.nodes[4] - self.nodes[5] + self.nodes[6] + self.nodes[7]) / 8 J[2, :] = (-self.nodes[0] - self.nodes[1] - self.nodes[2] - self.nodes[3] + self.nodes[4] + self.nodes[5] + self.nodes[6] + self.nodes[7]) / 8 return J # 20节点等参单元 class Element20: def __init__(self, nodes): self.nodes = nodes def shape_func(self, xi, eta, zeta): N = np.zeros((20, 1)) N[0] = (1 - xi) * (1 - eta) * (1 - zeta) * (-xi - eta - zeta - 2) / 8 N[1] = (1 + xi) * (1 - eta) * (1 - zeta) * (xi - eta - zeta - 2) / 8 N[2] = (1 + xi) * (1 + eta) * (1 - zeta) * (xi + eta - zeta - 2) / 8 N[3] = (1 - xi) * (1 + eta) * (1 - zeta) * (-xi + eta - zeta - 2) / 8 N[4] = (1 - xi) * (1 - eta) * (1 + zeta) * (-xi - eta + zeta - 2) / 8 N[5] = (1 + xi) * (1 - eta) * (1 + zeta) * (xi - eta + zeta - 2) / 8 N[6] = (1 + xi) * (1 + eta) * (1 + zeta) * (xi + eta + zeta - 2) / 8 N[7] = (1 - xi) * (1 + eta) * (1 + zeta) * (-xi + eta + zeta - 2) / 8 N[8] = (1 - xi ** 2) * (1 - eta) * (1 - zeta) / 4 N[9] = (1 + xi) * (1 - eta ** 2) * (1 - zeta) / 4 N[10] = (1 - xi ** 2) * (1 + eta) * (1 - zeta) / 4 N[11] = (1 - xi) * (1 - eta ** 2) * (1 - zeta) / 4 N[12] = (1 - xi) * (1 - eta) * (1 - zeta ** 2) / 4 N[13] = (1 + xi) * (1 - eta) * (1 - zeta ** 2) / 4 N[14] = (1 + xi) * (1 + eta) * (1 - zeta ** 2) / 4 N[15] = (1 - xi) * (1 + eta) * (1 - zeta ** 2) / 4 N[16] = (1 - xi ** 2) * (1 - eta) * (1 + zeta) / 4 N[17] = (1 + xi) * (1 - eta ** 2) * (1 + zeta) / 4 N[18] = (1 - xi ** 2) * (1 + eta) * (1 + zeta) / 4 N[19] = (1 - xi) * (1 - eta ** 2) * (1 + zeta) / 4 return N def jacobian(self, xi, eta, zeta): J = np.zeros((3, 3)) for i in range(20): J[0, :] += self.nodes[i, :] * (1 + eta * self.shape_func(xi, eta, zeta)[i]) * (1 + zeta * self.shape_func(xi, eta, zeta)[i]) J[1, :] += self.nodes[i, :] * (1 + xi * self.shape_func(xi, eta, zeta)[i]) * (1 + zeta * self.shape_func(xi, eta, zeta)[i]) J[2, :] += self.nodes[i, :] * (1 + xi * self.shape_func(xi, eta, zeta)[i]) * (1 + eta * self.shape_func(xi, eta, zeta)[i]) return J ``` 在以上代码中，Element8 类和 Element20 类分别表示三维8节点和20节点等参单元。它们都包含了 shape_func 方法和 jacobian 方法。 shape_func 方法用于计算单元内任意位置的形函数值。它接受三个输入参数：xi、eta 和 zeta，表示单元内的局部坐标。该方法返回一个包含所有节点形函数值的向量。 jacobian 方法用于计算单元内任意位置的雅可比矩阵。它接受三个输入参数：xi、eta 和 zeta，表示单元内的局部坐标。该方法返回一个3x3的矩阵，表示该位置的雅可比矩阵。 以上代码仅为示例，请根据具体情况进行修改和完善。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

SeaTunnel

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值