zlink 介绍

Zlink是一个可视化的数据开发工具,它基于Flink构建,提供简易操作界面,降低学习成本,支持拖拉拽式实时数据同步,并具备多数据源同步、一键部署、日志查看、任务报警和重启等功能。该工具简化了Flink任务配置,支持FlinkSQL开发和多种执行模式,还包含告警通知与SPI插件扩展。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

zlink 是一个基于 flink 开发的分布式数据开发工具,提供简单的易用的操作界面,降低用户学习 flink 的成本,缩短任务配置时间,避免配置过程中出现错误。用户可以通过拖拉拽的方式实现数据的实时同步,支持多数据源之间的数据同步。同时一键部署,支持查看日志,任务报警,任务重启等功能。

链接地址:GitHub - zzzzzzzs/zlink: zlink 是一个基于 flink 开发的分布式数据开发工具,提供简单的易用的操作界面,降低用户学习 flink 的成本,缩短任务配置时间,避免配置过程中出现错误。用户可以通过拖拉拽的方式实现数据的实时同步,支持多数据源之间的数据同步。同时一键部署,支持查看日志,任务报警,任务重启等功能。zlink 是一个基于 flink 开发的分布式数据开发工具,提供简单的易用的操作界面,降低用户学习 flink 的成本,缩短任务配置时间,避免配置过程中出现错误。用户可以通过拖拉拽的方式实现数据的实时同步,支持多数据源之间的数据同步。同时一键部署,支持查看日志,任务报警,任务重启等功能。 - GitHub - zzzzzzzs/zlink: zlink 是一个基于 flink 开发的分布式数据开发工具,提供简单的易用的操作界面,降低用户学习 flink 的成本,缩短任务配置时间,避免配置过程中出现错误。用户可以通过拖拉拽的方式实现数据的实时同步,支持多数据源之间的数据同步。同时一键部署,支持查看日志,任务报警,任务重启等功能。https://github.com/zzzzzzzs/zlink

使用场景

  • 提供可视化界面,实现实时数据的快速编排
  • 任务报警
  • 元数据监控
  • 解决复杂数据的同步问题
  • 以 flink 为基础,获得数据一致性保障

技术概述

特征

  • 支持FlinkCDC全库实时入库入湖,多库输出,自动建表。
  • 通过 web 拖拉拽的方式构建实时同步任务,减轻了大量字段校验等繁杂工作
  • 支持 flinksql 开发,自动提示补全、语法高亮、语句美化、在线调试
  • 支持FlinkSQL多开发执行模式:Local, Standalone, Yarn Per-Job, Kubernetes Application.
  • 支持自动管理的 SavePoint/CheckPoint 恢复和触发机制:最新、最早、指定等。
  • flink 任务运行记录展示,可以在页面操作停止任务
  • 支持修改任务状态,启动/停止,即时生效
  • 支持实时工作告警和告警群:钉钉、微信、飞书、邮箱等。
  • 支持 SPI 插件

登录界面

访问 http:ip:5465 地址,进入登录界面

数据源配置中心

可以进行创建,修改,删除数据源,并且可以识别出ip是否为内网

此处为编辑数据源,默认在保存前会进行一次测试连接,如果测试不通过,则不保存。

flink 配置中心

flink 配置展示界面

创建 flink 环境界面,flink 模式有 3 中,已支持 standalone 以及 yarn,目前 k8s 正在开发中。如果是 yarn 模式需要填写 FLINK_HOME、core_site、hdfs_site、yarn_site 路径。

例如下图:

元数据中心

此处的源端数据库目标数据库是在数据源中心配置的

同步表结构

源端数据库 数据库中勾选上要同步的表结构,同时在 目标数据库 上勾选上将要同步到的数据库,点击创建表结构按钮,将会按照下面表结构的前后缀自动创建表(可以不填)。

cdc 实时同步数据

在 源端数据库 和 目标数据库 选中要同步的表结构,将会在右侧生成表名。注意:如果是多个表,要保证源端数据库表 和目标数据库表 顺序一致,若顺序不一致可以拖动

然后点击 生成cdc任务按钮 就可以生成 flink 任务

flink 任务列表

此时生成的列表就是刚刚生成的同步表结构任务,每个任务都可以单独操作,也可以批量操作。点击 url 连接就会跳转到对应的 flink-web 界面。

推送

点击飞机按钮就可以选择集群(在flink 配置中心设置的)推送到指定的集群上,此时就可以在 yarn 管理界面上查看任务。

flink-sql

未来这里会添加 flink-sql 功能,避免在代码中写死 sql。同时可以添加调试功能,一键推送到指定集群上运行。

### 至简 ZLink 安装与配置教程 #### 1. 准备工作 在开始安装和配置至简 ZLink 前,需确保环境满足最低要求。这包括操作系统版本、依赖库以及必要的开发工具包。 #### 2. 下载并解压软件包 访问官方网站获取最新版的至简 ZLink 软件包,并将其下载到本地计算机上。完成下载之后,使用合适的压缩文件管理器打开该档案并将内容释放到指定目录下[^1]。 #### 3. 配置环境变量 (可选) 为了方便命令行操作,建议设置相应的环境变量指向至简 ZLink 的安装路径。此步骤并非强制性需求,但如果希望简化后续流程,则推荐执行这一环节的操作。 #### 4. 初始化项目结构 进入刚刚创建好的目标文件夹,在终端或者命令提示符窗口输入特定指令来初始化一个新的ZLink应用实例。通常情况下会涉及到创建默认的应用程序框架及资源文件等动作。 #### 5. 修改全局配置 `app.json` 对于任何基于微信小程序平台构建的服务端而言,`app.json` 文件都是至关重要的组成部分之一。它定义了整个应用程序的行为模式及其外观特性等方面的信息。针对至简 ZLink 来讲也不例外——需要编辑其中的关键参数以适配实际应用场景的需求: - **pages**: 列表形式记录着所有可用页面的具体位置; - **window**: 描述整体视觉风格设定; - **networkTimeout**: 设定请求超时时长限制; - **tabBar**: 如果存在底部导航栏的话,则在此处声明其样式布局等内容。 ```json { "pages": [ "index/index", "logs/logs" ], "window": { "backgroundTextStyle": "light", "navigationBarBackgroundColor": "#fff", "navigationBarTitleText": "WeChat", "navigationBarTextStyle": "black" }, " tabBar ": { ... } } ``` #### 6. 启动服务 当一切准备工作就绪后,可以通过运行预设脚本来启动至简 ZLink 所提供的各项功能和服务接口。此时应该能够正常浏览由本机托管的小程序演示页面了。 #### 7. 测试验证 最后一步就是进行全面的功能测试,确认每一个模块都能按照预期那样稳定运作。如果遇到问题可以查阅官方文档寻求帮助和支持。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值