Flink实时读取Mysql增量日志数据并写入GreenPlum/Mysql

最新推荐文章于 2024-04-17 17:08:01 发布

leaeason

最新推荐文章于 2024-04-17 17:08:01 发布

阅读量4k

点赞数 2

分类专栏：大数据学习文章标签： flink

本文链接：https://blog.csdn.net/leaeason/article/details/107762692

版权

该博客介绍了使用Flink实时处理Mysql BinLog日志，统计会议室预定信息，通过Canal和Kafka进行数据流转，利用Flink SQL进行JOIN操作，最终将结果写入Greenplum或Mysql。旨在降低对源数据库压力，提高数据实时性。

摘要由CSDN通过智能技术生成

FlinkStreamETL

0.功能说明

概括：利用Flink实时统计Mysql数据库BinLog日志数据，并将流式数据注册为流表，利用Flink SQL将流表与Mysql的维表进行JOIN，最后将计算结果实时写入Greenplum/Mysql。

1.需求分析

1.1需求

实时统计各个地区会议室的空置率，预定率，并在前端看板上实时展示。源系统的数据库是Mysql，它有三张表，分别是：t_meeting_info（会议室预定信息表）、t_meeting_location（属地表，维度表）、t_meeting_address(会议室属地表，维度表）。

1.2说明

t_meeting_info表中的数据每时每刻都在更新数据，若通过JDBC方式定时查询Mysql，会给源系统数据库造成大量无形的压力，甚至会影响正常业务的使用，并且时效性也不高。需要在基本不影响Mysql正常使用的情况下完成对增量数据的处理。

上面三张表的DDL语句如下：

t_meeting_info（会议室预定信息表，这张表数据会实时更新）

CREATE TABLE `t_meeting_info` (
  `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键id',
  `meeting_code` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL COMMENT '会议业务唯一编号',
  `msite` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci DEFAULT NULL COMMENT '会议名称',
  `mcontent` varchar(4096) CHARACTER SET utf8 COLLATE utf8_general_ci DEFAULT NULL COMMENT '会议内容',
  `attend_count` int(5) DEFAULT NULL COMMENT '参会人数',
  `type` int(5) DEFAULT NULL COMMENT '会议类型 1 普通会议 2 融合会议 3 视频会议 4 电话会议',
  `status` int(255) DEFAULT NULL COMMENT '会议状态 ',
  `address_id` int(11) DEFAULT NULL COMMENT '会议室id',
  `email` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci DEFAULT NULL COMMENT '创建人邮箱',
  `contact_tel` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci DEFAULT NULL COMMENT '联系电话',
  `</

最低0.47元/天解锁文章