基于canal+kafka+flink实现实时增量同步4：kafka消息入库到MySQL功能演示

最新推荐文章于 2024-04-20 17:47:46 发布
最新推荐文章于 2024-04-20 17:47:46 发布
阅读量939 收藏 4
点赞数
分类专栏： 项目实战 kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/RuiKe1400360107/article/details/117297125
版权

一、新建三个表

（1）主表user_id。它包含有主键user_id

CREATE TABLE `user_id`  (
  `user_id` int(11) NOT NULL,
  `name` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci DEFAULT NULL,
  `age` int(11) DEFAULT NULL,
  `user_info_id` int(11) DEFAULT NULL,
  PRIMARY KEY (`user_id`) USING BTREE
) ENGINE = InnoDB CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Compact;

（2）从表。

CREATE TABLE `user_info`  (
  `sex` int(1) DEFAULT NULL,
  `user_name` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci DEFAULT NULL,
  `password` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci DEFAULT NULL,
  `tele` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci DEFAULT NULL,
  `user_info_id` int(11) NOT NULL,
  PRIMARY KEY (`user_info_id`) USING BTREE
) ENGINE = InnoDB CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Compact;

（3）合并后的表user

CREATE TABLE `user`  (
  `id` int(11) NOT NULL,
  `name` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci DEFAULT NULL,
  `age` int(11) DEFAULT NULL,
  `sex` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci DEFAULT NULL,
  `user_name` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci DEFAULT NULL,
  `password` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci DEFAULT NULL,
  `tele` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci DEFAULT NULL,
  PRIMARY KEY (`id`) USING BTREE
) ENGINE = InnoDB CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Compact;

二、要实现的功能说明

需要接收kafka推送过来的的增量消息。分别入库对应库的表（表名相同），比如我要从A库的表入库到B库的表，A库的表CRUD一条消息后会推动到kafka，B会从kafka消费这条消息。从而入库到B库对用的表（这就是增量同步消息），并且，需要根据kafka上的消息，确定哪些表需要合并成新的具体的表，我们定义为C，C的字段包含了来源于A的和B的。

我们在Test里边写死kafka消息进行测试：假设（1）下边是从kafka消费的binlog日志消息。也就是推送过来的两条消息分别是user_info_id表的和user_id表的。我们现在要把这两条消息入库到我们新的库新的表（表名相同）。并且，合并成一个新的表user。这个合并规则以及kafka上的映射关系请看（2）

（1）op_type为“I”代表新增，“U”代表修改 ，“D”代表删除。

        messageList.add("{\n" +
                "\t\"after\": {\n" +
                "\t\t\"user_info_id\": \"4\",\n" +
                "\t\t\"sex\": \"1\",\n" +
                "\t\t\"user_name\": \"admin\",\n" +
                "\t\t\"tele\": \"183xxx\",\n" +
                "\t\t\"password\": \"123\"\n" +
                "\t},\n" +
                "\t\"before\": {},\n" +
                "\t\"op_ts\": \"1\",\n" +
                "\t\"op_type\": \"I\",\n" +
                "\t\"primary_keys\": [\"user_info_id\"],\n" +
                "\t\"schema\": \"crm1\",\n" +
                "\t\"table\": \"user_info\"\n" +
                "}");
        messageList.add("{\n" +
                "\t\"after\": {\n" +
                "\t\t\"user_id\": \"2\",\n" +
                "\t\t\"name\": \"rui\",\n" +
                "\t\t\"age\": \"100\",\n" +
                "\t\t\"user_info_id\": \"4\"\n" +
                "\t},\n" +
                "\t\"before\": {},\n" +
                "\t\"op_ts\": \"1\",\n" +
                "\t\"op_type\": \"I\",\n" +
                "\t\"primary_keys\": [\"user_id\"],\n" +
                "\t\"schema\": \"crm1\",\n" +
                "\t\"table\": \"user_id\"\n" +
                "}");

（2）从kafka的这个映射关系可以看到，user_id-->user_id表、user_info-->user_info表、user_id+user_info-->user表

       ktssubscriberJsonStr = "{\n" +
               "  \"url\": \"jdbc:mysql://xx:3306/test?rewriteBatchedStatements=true\",\n" +
               "  \"username\": \"dataopen\",\n" +
               "  \"password\": \"dataopen\",\n" +
               "  \"type\": \"rds\",\n" +
               "  \"kafkaBrokers\": \"xx:9011\",\n" +
               "  \"kafkaTopic\": \"testtopic3\",\n" +
               "  \"kafkaPartition\": \"\",\n" +
               "  \"kafkaOffsetReset\": \"latest\",\n" +
               "  \"kafkaConsumerGroup\": \"\",\n" +
               "  \"kafkaOffsetsForTimes\": \"\",\n" +
               "  \"kafkaUserName\": \"\",\n" +
               "  \"kafkaPassword\": \"\",\n" +
               "  \"dataFormatType\": \"JSON\",\n" +
               "  \"dataFormat\": \"OGG\",\n" +
               "  \"relation\": [\n" +
               "    {\n" +
               "      \"partition\": \"\",\n" +
               "      \"sourceSchema\": \"crm1\",\n" +
               "      \"sourceTable\": \"user_id\",\n" +
               "      \"targetSchema\": \"test\",\n" +
               "      \"targetTable\": \"user_id\",\n" +
               "      \"operaType\": \"I,U,D\",\n" +
               "      \"where\": \"\",\n" +
               "      \"tableType\": \"sub\",\n" +
               "      \"column\": [\n" +
               "        {\n" +
               "          \"sourceColumn\": \"user_id\",\n" +
               "          \"columnCode\": \"user_id\",\n" +
               "          \"columnType\": \"int\",\n" +
               "          \"columnValue\": \"user_id\"\n" +
               "        },\n" +
               "        {\n" +
               "          \"sourceColumn\": \"name\",\n" +
               "          \"columnCode\": \"name\",\n" +
               "          \"columnType\": \"varchar\",\n" +
               "          \"columnValue\": \"name\"\n" +
               "        },\n" +
               "        {\n" +
               "          \"sourceColumn\": \"age\",\n" +
               "          \"columnCode\": \"age\",\n" +
               "          \"columnType\": \"int\",\n" +
               "          \"columnValue\": \"age\"\n" +
               "        },\n" +
               "        {\n" +
               "          \"sourceColumn\": \"user_info_id\",\n" +
               "          \"columnCode\": \"user_info_id\",\n" +
               "          \"columnType\": \"int\",\n" +
               "          \"columnValue\": \"user_info_id\"\n" +
               "        }\n" +
               "      ]\n" +
               "    },\n" +
               "    {\n" +
               "      \"partition\": \"\",\n" +
               "      \"sourceSchema\": \"crm1\",\n" +
               "      \"sourceTable\": \"user_info\",\n" +
               "      \"targetSchema\": \"test\",\n" +
               "      \"targetTable\": \"user_info\",\n" +
               "      \"operaType\": \"I,U,D\",\n" +
               "      \"where\": \"\",\n" +
               "      \"tableType\": \"sub\",\n" +
               "      \"column\": [\n" +
               "        {\n" +
               "          \"sourceColumn\": \"user_info_id\",\n" +
               "          \"columnCode\": \"user_info_id\",\n" +
               "          \"columnType\": \"int\",\n" +
               "          \"columnValue\": \"user_info_id\"\n" +
               "        },\n" +
               "        {\n" +
               "          \"sourceColumn\": \"sex\",\n" +
               "          \"columnCode\": \"sex\",\n" +
               "          \"columnType\": \"int\",\n" +
               "          \"columnValue\": \"sex\"\n" +
               "        },\n" +
               "        {\n" +
               "          \"sourceColumn\": \"user_name\",\n" +
               "          \"columnCode\": \"user_name\",\n" +
               "          \"columnType\": \"varchar\",\n" +
               "          \"columnValue\": \"user_name\"\n" +
               "        },\n" +
               "        {\n" +
               "          \"sourceColumn\": \"password\",\n" +
               "          \"columnCode\": \"password\",\n" +
               "          \"columnType\": \"varchar\",\n" +
               "          \"columnValue\": \"password\"\n" +
               "        },\n" +
               "        {\n" +
               "          \"sourceColumn\": \"tele\",\n" +
               "          \"columnCode\": \"tele\",\n" +
               "          \"columnType\": \"varchar\",\n" +
               "          \"columnValue\": \"tele\"\n" +
               "        }\n" +
               "      ]\n" +
               "    },\n" +
               "    {\n" +
               "      \"partition\": \"\",\n" +
               "      \"sourceSchema\": \"crm1\",\n" +
               "      \"sourceTable\": \"user_id\",\n" +
               "      \"targetSchema\": \"test\",\n" +
               "      \"targetTable\": \"user\",\n" +
               "      \"operaType\": \"I,U,D\",\n" +
               "      \"where\": \"\",\n" +
               "      \"tableType\": \"main\",\n" +
               "      \"column\": [\n" +
               "        {\n" +
               "          \"sourceColumn\": \"user_id\",\n" +
               "          \"columnCode\": \"id\",\n" +
               "          \"columnType\": \"int\",\n" +
               "          \"columnValue\": \"user_id\",\n" +
               "          \"isPrimary\": \"Y\"\n" +
               "        },\n" +
               "        {\n" +
               "          \"sourceColumn\": \"name\",\n" +
               "          \"columnCode\": \"name\",\n" +
               "          \"columnType\": \"varchar\",\n" +
               "          \"columnValue\": \"name\"\n" +
               "        },\n" +
               "        {\n" +
               "          \"sourceColumn\": \"age\",\n" +
               "          \"columnCode\": \"age\",\n" +
               "          \"columnType\": \"int\",\n" +
               "          \"columnValue\": \"age\"\n" +
               "        }\n" +
               "      ]\n" +
               "    },\n" +
               "    {\n" +
               "      \"partition\": \"\",\n" +
               "      \"sourceSchema\": \"crm1\",\n" +
               "      \"sourceTable\": \"user_info\",\n" +
               "      \"targetSchema\": \"test\",\n" +
               "      \"targetTable\": \"user\",\n" +
               "      \"operaType\": \"I,U,D\",\n" +
               "      \"where\": \"\",\n" +
               "      \"tableType\": \"sub\",\n" +
               "      \"column\": [\n" +
               "        {\n" +
               "          \"sourceColumn\": \"user_info_id\",\n" +
               "          \"columnCode\": \"user_info_id\",\n" +
               "          \"columnType\": \"int\",\n" +
               "          \"isPrimary\": \"Y\",\n" +
               "          \"columnValue\": \"user_info_id\"\n" +
               "        },\n" +
               "        {\n" +
               "          \"sourceColumn\": \"sex\",\n" +
               "          \"columnCode\": \"sex\",\n" +
               "          \"columnType\": \"int\",\n" +
               "          \"columnValue\": \"sex\"\n" +
               "        },\n" +
               "        {\n" +
               "          \"sourceColumn\": \"user_name\",\n" +
               "          \"columnCode\": \"user_name\",\n" +
               "          \"columnType\": \"varchar\",\n" +
               "          \"columnValue\": \"user_name\"\n" +
               "        },\n" +
               "        {\n" +
               "          \"sourceColumn\": \"password\",\n" +
               "          \"columnCode\": \"password\",\n" +
               "          \"columnType\": \"varchar\",\n" +
               "          \"columnValue\": \"password\"\n" +
               "        },\n" +
               "        {\n" +
               "          \"sourceColumn\": \"tele\",\n" +
               "          \"columnCode\": \"tele\",\n" +
               "          \"columnType\": \"varchar\",\n" +
               "          \"columnValue\": \"tele\"\n" +
               "        }\n" +
               "      ]\n" +
               "    }\n" +
               "  ]\n" +
               "}\n" +
               "\n";

三、功能演示

（1）我们先查看目前三个表都为空：

（2）执行代码后

user表：可以看到user新增了一条数分别来自user_id表和user_info表，就是（二）上边的kafka消息

user_id表：

user_info表：

（2）修改一下user表的数据：再次执行，发现原来已经有id为2的数据（对应user_id主表的user_id主键字段），则自动替换为更新。并且user_id表和user_info表的数据不变，因为已经有了原来的数据，会自动根据主键去判断，即使是新增的类型，也会自动替换为修改

执行代码后：

总结:

以上就是kafka消息入库的功能，配合上一篇文章讲的，则可以实现Canal+kafka+flink/SparkStreaming实现一个完整的增量同步功能，并且可以定制同步合并到具体表。后边将分析代码部分......

Hey 锡瑞
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
mriya:由Flink开发的实时ETL，可将数据从MySQL传输到Greenplum。 使用Canal解析MySQL Binlog，将其放入kafka，使用Flink消耗kafka并将数据组装到Greenplum中，将来还会添加更多数据源和目标源
05-08
mriya (运输机) :airplane: 介绍 使用Flink开发的实时ETL，数据从MySQL到Greenplum。使用canal解析MySQL的binlog，投放进kafka，使用Flink消费kafka并把数据组装进Greenplum，后续将会添加更多的数据源和目标源。 工作流程 利用canal解析MySQL的binary log，并将解析的log投入kafka中。 使用mriya消费kafka中的消息，还原MySQL 的增删改。 将MySQL的增删改转义成目标源的增删改语句 特性 基于binlog的近实时同步ETL 支持自动化表创建，自动化DDL变更同步 使用nacos注册中心同步，变更配置不需要重启 后续添加支持多目标源 MySql --> PostGreSql/Greenplum(使用delete+copy方式): 支持近实时级别的数据增删改 支持自动创建表 CREATE TABLE [I
基于flink-cdc实现监控数据源的实时变更数据捕获
06-06
1. **简化架构**：无需额外维护Canal或消息队列，直接依赖Flink进行全增量同步和实时ETL。 2. **高并发与稳定性**：并发读取大量数据，确保稳定输出。 3. **易于维护**：组件少，架构简洁。 **五、Flink-CDC的工作...
基于canal+kafka+flink的实时增量同步功能1：mysqlTokafka代码实现
RuiKe的博客
03-31 850
背景： 假如一个系统注册⽤户就 20 万，每天活跃⽤户就 1 万，每天单表数据量就 1000，然后⾼峰期每秒钟并发请求最多就 10。 公司业务发展迅猛，过了⼏个⽉，注册⽤户数达到了 2000 万！每天活跃⽤户数 100 万！每天单 表新增数据量达到 50 万条！⾼峰期每秒请求量达到 1 万，因为每天单表新增 50 万条数据，⼀个⽉就多 1500 万条数据，⼀年下来单表会达到上亿条数据。经过⼀段时间的运⾏，单表已经两三千万条数据了，勉强还能⽀撑着。但是单表数据量越来越⼤，拖垮了⼀些复杂 查询 SQL 的性
基于Canal与Flink实现数据实时增量同步(一)
最新发布
2401_83330193的博客
04-20 609
切莫死记硬背，小心面试官直接让你出门右拐1000道互联网Java面试题：
基于canal+kafka+flink实现实时增量同步3：MySQL到Kafka功能演示
RuiKe的博客
05-10 1336
一、Cannal介绍 二、Cannal作用 canal是alibaba开源的基于mysql binlog解析工具，可利用它实现mysql增量订阅/消费。 利用canal，可以将mysql的数据变化，通过解析binlog，投递到kafka(或rocket mq)，mq的消费方，可以把这些数据变化，应用到不同的业务场景，比如： 1. 同步到redis（即：数据库的变化自动同步到缓存） 2. 同步到es搜索引擎（即：数据库的变化自动刷新ES索引） 3. 同步到其它异构数据库（即：mysql的变化，自动
通过Hive hook向Kafka发送消息，Kafka将元数据信息入库
07-03 922
hive hook向Kafka发送消息（异步） Kafka推送消息到数据库
kafka（四）：kafka javaAPI入库程序
幻神舞的专栏
04-09 436
文章目录说明讲解maven导包连接kafkakerberos认证方式一方式二应用总结 说明 本博客每周五更新一次。 本博客主要介绍java代码实现kafka数据入库的代码实现，并包含kerberos认证实现。kafka版本为2.3.0 讲解 maven导包 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId
kafka处理超大消息的配置 org.apache.kafka.common.errors.RecordTooLargeException
01-07
在使用 canal 和kafka处理数据同步时canal日志提示如下异常： java.lang.RuntimeException: java.util.concurrent.ExecutionException: org.apache.kafka.common.errors.RecordTooLargeException: The request ...
基于flink的电商实时数据分析、推荐、风控项目java源码+项目使用说明.zip
05-31
由canal 监听到Mysql的binlog 后加载到Kafka，再由Kafka流入Flink和ClickHouse，Flink做用户行为的实时计算，ClickHouse做离线计算，支持动态数据分区与规则配置（Flink广播流），支持类与Jar文件的动态编译与动态...
canal.kafka
09-28
【标题】：“canal.kafka”是一个基于Canal的MySQL数据实时同步到Kafka的解决方案，它将MySQL的数据变更事件转化为消息并推送到Kafka主题，用于流式处理和实时分析。 【描述】：在MySQL数据库中，Canal扮演了一个伪...
Kafka消息生成，消费，存储机制
weixin_34161083的博客
02-28 376
为什么80%的码农都做不了架构师？>>> ...
kafka入库基于java
weixin_34269583的博客
01-04 537
2019独角兽企业重金招聘Python工程师标准>>> ...
大数据zookeeper+hadoop+flink+kafka+canal应用
u012594177的博客
05-15 355
官方文档地址：https://nightlies.apache.org/flink/flink-docs-release-1.12。采用阿里镜像站下载安装包：https://developer.aliyun.com/mirror/采用阿里镜像站下载安装包：https://developer.aliyun.com/mirror/切换到root用户，分别在每台主机安装java环境，采用yum安装，选择devel版本，分别修改每台主机名称为：node1，node2，node3。分别关闭每台主机防火墙。
基于canal+kafka+flink的实时增量同步功能2：消费者kafkaTomysql代码实现
RuiKe的博客
04-08 817
常见问题： Eureka 注册中⼼使⽤什么样的⽅式来储存各个服务注册时发送过来的机器地址和端⼝号？ 各个服务找 Eureka Server 拉取注册表的时候，是什么样的频率？ 各个服务是如何拉取注册表的？ ⼀个⼏百服务，部署上千台机器的⼤型分布式系统，会对 Eureka Server 造成多⼤的访问压 ⼒？ Eureka Server 从技术层⾯是如何抗住⽇千万级访问量的？ 一、Eureka Server 注册表存储结构 示例： （1）假设⼿头有⼀套⼤型的分布式系统，⼀共 100 个服务，每个
Window环境下canal实时同步mysql增量数据到kafka的单机版demo
zhang5324496的博客
08-17 559
1- 前期环境准备(mysql，kafka，canal) 1.1- windows下mysql的安装部署 1.2- windows下kafka的安装部署 1.3- windows下canal的安装部署 2- Mysql的设置(开启bin-log，创建用户) 3- canal的配置文件设置 4- 测试记录 本文是为了测试canal的基本功能，使用windows操作系统，采用单机模拟实际的集群(kafka和canal)。对比实...
Hudi-Flink消费kafka将增量数据实时写入Hudi(java)
qq_38304392的博客
03-09 359
零、步骤 一、Flink SQL集成Kafka 1.创建topic(一分区一备份) flink-topic 2.准备flink-sql-connector-kafka_2.12-1.13.1.jar，放入flink/lib下 3.启动client,指定jar ./sql-client.sh embedded -j ../lib/flink-sql-connector-kafka_2.12...
mysql to greenplum_GitHub - Rowen110/mriya: Real-time ETL developed by Flink, data from MySQL to Gre...
weixin_31099497的博客
01-20 191
mriya (运输机) ✈️介绍使用Flink开发的实时ETL，数据从MySQL到Greenplum。使用canal解析MySQL的binlog，投放进kafka，使用Flink消费kafka并把数据组装进Greenplum，后续将会添加更多的数据源和目标源。工作流程利用canal解析MySQL的binary log，并将解析的log投入kafka中。使用mriya消费kafka中的消息，还原My...
Flink解析kafka canal未压平数据为message报错
weixin_30563319的博客
03-22 564
canal使用非flatmessage方式获取mysql bin log日志发至kafka比直接发送json效率要高很多，数据发到kafka后需要实时解析为json,这里可以使用strom或者flink,公司本来就是使用strom解析，但是在吞吐量上有瓶颈，优化空间不大。所以试一试通过flink来做。 非flatmessage需要使用特定的反序列化方式来处理为Message对象，所以这里需要自定...
canal实战（一）：canal连接kafka实现实时同步mysql数据
热门推荐
桃花惜春风
09-03 1万+
前面已经介绍过了canal-kafka的应用。canal-kafka是把kafka作为客户端，嵌入到canal中，并且在canal基础上对源码进行了修改，以达到特定的实现canal到kafka的传送。 canal-kafka是阿里云最近更新的一个新的安装包。主要功能是实现canal与kafka的对接，实现海量的消息传输同步。在canal-kafka中，消息是以ByteString进行传输...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值