实践数据湖iceberg 第三十一课使用github的flink-streaming-platform-web工具，管理flink任务流，测试cdc重启场景

最新推荐文章于 2024-08-09 07:38:40 发布

*星星之火*

最新推荐文章于 2024-08-09 07:38:40 发布

阅读量1.3k

点赞数 1

分类专栏： iceberg flink 文章标签： flink

本文链接：https://blog.csdn.net/spark_dev/article/details/124469641

版权

iceberg 同时被 2 个专栏收录

44 篇文章 117 订阅

订阅专栏

flink

38 篇文章 16 订阅

订阅专栏

系列文章目录

文章目录

系列文章目录
前言
一、使用开源组件flink-streaming-platform-web ，管理flink任务
二、测试flink-streaming-platform-web 在重启时，从checkpoint恢复
总结

前言

flink重启，需要从checkpoint恢复。涉及到任务工程化管理，自研一套这种工具，很耗时，对小公司来说，吃力不讨好，所有寻找了个开源方案，测试flink-streaming-platform-web ，支持sql,jar，各种集群模式提交，亲测可用

一、使用开源组件flink-streaming-platform-web ，管理flink任务

flink-streaming-platform-web 使用开源组件，管理flink任务
源码地址： https://github.com/zhp8341/flink-streaming-platform-web
相关使用说明：官网写得很详细，请查看官网

二、测试flink-streaming-platform-web 在重启时，从checkpoint恢复

核心逻辑： 从mysql读到iceberg

1.代码，从mysql读到iceberg

mysql原始数据

3.启动程序
4.查看iceberg表的结果，发现同步了。

5.测试新增的变化数据

加一条id=5，和 update一条数据，如下

INSERT INTO `stock_basic` VALUES ('5', '000007.SZ', '000007', '*ST全新', '深圳', '酒店餐饮', '19920413', null);

update stock_basic set actural_controller='me me me' where i='0';

查iceberg，发现捕捉到变更了：
在这里插入图片描述

6.重启，看看能否从checkpoint恢复

在这里插入图片描述
点击恢复，跳出如下对话：

点击恢复，刷新flink主页面，发现任务正常启动：

到sink表查看数据，看看手否重复消费：
发现没有重复。
重新测试，停止程序后，写几条数据进去，看看从checkpoint恢复后，是否捕捉到变更数据

步骤1：记录savePoint
步骤2：停止程序
步骤3：insert update delete变更

INSERT INTO `stock_basic` VALUES ('6', '000008.SZ', '000008', '神州高铁', '北京', '运输设备', '19920507', '国家开发投资集团有限公司');
update stock_basic set actural_controller='汉武帝' where i='1';
delete from stock_basic where i='0';

在这里插入图片描述