Seatunnel-Web环境搭建

关于SeaTunnel Web

SeaTunnel Web是一个Web项目,提供对作业、调度、运行和监控功能的可视化管理。它基于 SeaTunnel 连接器 API 和 SeaTunnel Zeta 引擎开发。它是一个可以独立部署的 Web 项目。它也是SeaTunnel的一个子项目。欲了解更多信息,请参阅SeaTunnel Web。

搭建seatunnel-web前的准备工作

搭建Zeta Server

参照上一篇文章:Seatunnel 2.3.5 Zeta-Server集群环境搭建与使用

ps: 最低使用2.3.5版本的seatunnel,老版本存在内存泄漏问题,详情查看类加载器缓存模式

下载Seatunnel-Web包

前往Download the SeaTunnel releases下载seatunnel-web安装包

安装Seatunnel Zeta Client

将seatunnel的安装包拷贝到部署seatunnel-web的服务器上,并按照如下方式设置环境变量:

export SEATUNNEL_HOME=${seatunnel install path}
export PATH=$PATH:$SEATUNNEL_HOME/bin

安装mysql-client

可以执行如下命令安装mysql client,用于数据库初始化脚本执行

yum -y install mysql

安装Mysql JDBC驱动

因为打包的原因,需要手动下载Mysql jdbc驱动程序,并将驱动程序放入${SEATUNNEL_WEB_HOME}/libs目录中

开始搭建Seatunnel-Web

数据库配置

编辑Seatunnel-Web的环境变量脚本(${SEATUNNEL_WEB_HOME}/script/seatunnel_server_env.sh),设置数据库连接信息,详情如下:

export HOSTNAME="localhost"
export PORT="3306"
export USERNAME="root"
export PASSWORD="123456"

初始化数据库

执行脚本${SEATUNNEL_WEB_HOME}/script/init_sql.sh/script/seatunnel_server_mysql.sql文件完成数据库初始化工作

下载数据源插件

官方提供了下载数据源插件的脚本download_datasource.sh,但是因为网络原因,建议自己从国内的maven仓库(比如阿里云)上下载并放入目录${SEATUNNEL_WEB_HOME}/libs。
当前可用的数据源:

  "datasource-plugins-api"
  "datasource-elasticsearch"
  "datasource-hive"
  "datasource-jdbc-clickhouse"
  "datasource-jdbc-hive"
  "datasource-jdbc-mysql"
  "datasource-jdbc-oracle"
  "datasource-jdbc-postgresql"
  "datasource-jdbc-redshift"
  "datasource-jdbc-sqlserver"
  "datasource-jdbc-starrocks"
  "datasource-jdbc-tidb"
  "datasource-kafka"
  "datasource-mysql-cdc"
  "datasource-s3"
  "datasource-sqlserver-cdc"
  "datasource-starrocks"

配置数据库连接信息

打开web应用配置文件(${SEATUNNEL_WEB_HOME}/conf/application.yml),修改数据库连接信息:

url: jdbc:mysql://localhost:3306/seatunnel?useSSL=false&useUnicode=true&characterEncoding=utf-8&allowMultiQueries=true&allowPublicKeyRetrieval=true
username: xxx
password: xxx

复制Zeta Server集群配置和插件映射文件

从Zeta Server中拷贝plugin-mapping.properties和hazelcast-client.yaml文件并放入到${SEATUNNEL_WEB_HOME}/conf目录中

启动Seatunnel-Web

执行如下命令启动Seatunnel-Web并使用admin/admin默认账号/密码登录

sh bin/seatunnel-backend-daemon.sh start

页面展示

登录页面:

image.png

主页:

image.png

数据源配置:

image.png

创建虚拟表:

image.png

创建同步任务:

image.png

同步任务编辑画板:

image.png

原文阅读:Seatunnel-Web环境搭建 

Tips: SeaTunnel Web虽然好但目前还不是很成熟可以的话尽可能使用命令方式
  

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值