Debezium同步MySQL变更到kafka

最新推荐文章于 2024-08-08 08:06:51 发布
最新推荐文章于 2024-08-08 08:06:51 发布
阅读量1k 收藏 5
点赞数
分类专栏： debezium
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43564627/article/details/118959526
版权

Debezium同步MySQL变更到kafka

Debezium

前期准备: 完成 Kafka Connect Source和MySQL集成
官网: https://debezium.io/documentation/reference/1.5/install.html
mysql官网教程:https://debezium.io/documentation/reference/1.5/connectors/mysql.html

Kafka Connect教程api

首先我们要知道rest服务提供了一些API去操作connector，如下表：
在这里插入图片描述

使用浏览器访问http://{ip}:8083/connectors，可以查看所有的connector，此时返回的是一个空数组，说明没有任何的connector：

安装配置

如果您已经安装了Zookeeper、Kafka和Kafka Connect，那么使用 Debezium 的连接器之一很容易。只需下载一个或多个连接器插件档案（见下文），将它们的文件解压缩到您的 Kafka Connect 环境中，然后将解压缩的插件的父目录添加到 Kafka Connect 的插件路径中。如果还不是这种情况，请使用plugin.path配置属性在您的工作器配置中指定插件路径（例如connect-distributed.properties）。例如，假设您已下载 Debezium MySQL 连接器存档并将其内容提取到/kafka/connect/debezium-connector-mysql. 然后你会在工作配置中指定以下内容：

plugin.path=/kafka/connect

重新启动 Kafka Connect 进程以获取新的 JAR。

下载地址：https://debezium.io/documentation/reference/1.5/install.html

在这里插入图片描述

使用 Debezium 连接器

要使用连接器为特定源服务器/集群生成更改事件，只需为MySQL 连接器、 Postgres 连接器、 MongoDB 连接器、 SQL Server 连接器、 Oracle 连接器、 Db2 连接器、 Cassandra 连接器或Vitess 连接器创建一个配置文件 ，然后使用Kafka Connect REST API将该连接器配置添加到您的 Kafka Connect 集群。当连接器启动时，它将连接到源并为每个插入、更新和删除的行或文档生成事件。

MySQL 连接器配置示例

使用postamn发送 post请求 http://10.90.81.121:8085/connectors 即可创建 MySQL 连接器

在这里插入图片描述
在这里插入图片描述

{
    "name":"connector_sit",
    "config":{
        "connector.class":"io.debezium.connector.mysql.MySqlConnector",
        "tasks.max":"1",
        "database.hostname": "10.90.81.121",
       "database.port": "3306",
        "database.user": "wys",
        "database.password": "wys",
        "database.server.id": "184051",
        "database.server.name":"uat",
     "database.history.kafka.bootstrap.servers": "10.90.81.121:9094",
        "database.history.kafka.topic":"debezium_test",
        "include.schema.changes":"true"
    }
}

// 最终生成的某张表的kafka topic为：(database.server.name).数据库名.表名

{
    "name":"debezium-test-5017",     // 连接器名称
    "config":{        // 连接器配置
        "connector.class":"io.debezium.connector.mysql.MySqlConnector",
        "database.hostname":"4.4.4.4",   //MySQL数据库主机
        "database.port":"5017",     // MySQL数据库端口
        "database.user":"test",    // MySQL数据库使用用户
        "database.password":"123",     // 用户密码
        "database.server.id":"316545017",
        "database.server.name":"debezium",       // 唯一的服务器逻辑名称。该名称将用作所有Kafka topic的前缀。
        "database.history.kafka.bootstrap.servers":"1.1.1.1:7091,2.2.2.2:7091,3.3.3.3:7091",
        "database.history.kafka.topic":"debezium_test"
    }
}
 
-- 其余常用配置
"database.include.list": "zztest"      // 仅监控哪个库的更改，默认监控所有数据库，以下均可配置为正则表达式
"database.exclude.list": "zztest"      // 不监控哪个库的更改，不能和database.include.list同时使用
"table.include.list": "t1"          // 监控哪些表的更改
"table.exclude.list": "t1"          // 不监控哪些表的更改，不能和table.include.list同时使用
"column.include.list": "col1"          // 监控哪些字段的更改
"column.exclude.list": "col1"          // 不监控哪些字段的更改，不能和column.include.list同时使用

创建成功后 Debezium 会为我们的 数据库 每个表生成一个 对应的 topic ,如果这时候新增一个表,Debezium也会给这个表新增一个对应的topic

在这里插入图片描述

创建表 对应的 topic 数据格式如下

{
    "schema":{
        "type":"struct",
        "fields":[
            {
                "type":"struct",
                "fields":[
                    {
                        "type":"string",
                        "optional":false,
                        "field":"version"
                    },
                    {
                        "type":"string",
                        "optional":false,
                        "field":"connector"
                    },
                    {
                        "type":"string",
                        "optional":false,
                        "field":"name"
                    },
                    {
                        "type":"int64",
                        "optional":false,
                        "field":"ts_ms"
                    },
                    {
                        "type":"string",
                        "optional":true,
                        "name":"io.debezium.data.Enum",
                        "version":1,
                        "parameters":{
                            "allowed":"true,last,false"
                        },
                        "default":"false",
                        "field":"snapshot"
                    },
                    {
                        "type":"string",
                        "optional":false,
                        "field":"db"
                    },
                    {
                        "type":"string",
                        "optional":true,
                        "field":"table"
                    },
                    {
                        "type":"int64",
                        "optional":false,
                        "field":"server_id"
                    },
                    {
                        "type":"string",
                        "optional":true,
                        "field":"gtid"
                    },
                    {
                        "type":"string",
                        "optional":false,
                        "field":"file"
                    },
                    {
                        "type":"int64",
                        "optional":false,
                        "field":"pos"
                    },
                    {
                        "type":"int32",
                        "optional":false,
                        "field":"row"
                    },
                    {
                        "type":"int64",
                        "optional":true,
                        "field":"thread"
                    },
                    {
                        "type":"string",
                        "optional":true,
                        "field":"query"
                    }
                ],
                "optional":false,
                "name":"io.debezium.connector.mysql.Source",
                "field":"source"
            },
            {
                "type":"string",
                "optional":false,
                "field":"databaseName"
            },
            {
                "type":"string",
                "optional":false,
                "field":"ddl"
            }
        ],
        "optional":false,
        "name":"io.debezium.connector.mysql.SchemaChangeValue"
    },
    "payload":{
        "source":{
            "version":"1.3.1.Final",
            "connector":"mysql",
            "name":"uat",
            "ts_ms":1626772791000,
            "snapshot":"false",
            "db":"canal",
            "table":"topic_test1",
            "server_id":1,
            "gtid":"2de6be90-dfb7-11eb-b359-0050568c1ec5:207",
            "file":"mysql-bin.000006",
            "pos":54376,
            "row":0,
            "thread":null,
            "query":null
        },
        "databaseName":"canal",
        "ddl":"CREATE TABLE canal.topic_test1 (\r\n\tid INT auto_increment NOT NULL,\r\n\tname varchar(100) NULL,\r\n\tCONSTRAINT topic_test1_PK PRIMARY KEY (id)\r\n)\nENGINE=InnoDB\nDEFAULT CHARSET=utf8mb4\nCOLLATE=utf8mb4_general_ci;"
    }
}

删除表 对应的 topic 数据格式如下

{
    "schema":{
        "type":"struct",
        "fields":[
            {
                "type":"struct",
                "fields":[
                    {
                        "type":"string",
                        "optional":false,
                        "field":"version"
                    },
                    {
                        "type":"string",
                        "optional":false,
                        "field":"connector"
                    },
                    {
                        "type":"string",
                        "optional":false,
                        "field":"name"
                    },
                    {
                        "type":"int64",
                        "optional":false,
                        "field":"ts_ms"
                    },
                    {
                        "type":"string",
                        "optional":true,
                        "name":"io.debezium.data.Enum",
                        "version":1,
                        "parameters":{
                            "allowed":"true,last,false"
                        },
                        "default":"false",
                        "field":"snapshot"
                    },
                    {
                        "type":"string",
                        "optional":false,
                        "field":"db"
                    },
                    {
                        "type":"string",
                        "optional":true,
                        "field":"table"
                    },
                    {
                        "type":"int64",
                        "optional":false,
                        "field":"server_id"
                    },
                    {
                        "type":"string",
                        "optional":true,
                        "field":"gtid"
                    },
                    {
                        "type":"string",
                        "optional":false,
                        "field":"file"
                    },
                    {
                        "type":"int64",
                        "optional":false,
                        "field":"pos"
                    },
                    {
                        "type":"int32",
                        "optional":false,
                        "field":"row"
                    },
                    {
                        "type":"int64",
                        "optional":true,
                        "field":"thread"
                    },
                    {
                        "type":"string",
                        "optional":true,
                        "field":"query"
                    }
                ],
                "optional":false,
                "name":"io.debezium.connector.mysql.Source",
                "field":"source"
            },
            {
                "type":"string",
                "optional":false,
                "field":"databaseName"
            },
            {
                "type":"string",
                "optional":false,
                "field":"ddl"
            }
        ],
        "optional":false,
        "name":"io.debezium.connector.mysql.SchemaChangeValue"
    },
    "payload":{
        "source":{
            "version":"1.3.1.Final",
            "connector":"mysql",
            "name":"uat",
            "ts_ms":1626772566000,
            "snapshot":"false",
            "db":"canal",
            "table":"topic_test",
            "server_id":1,
            "gtid":"2de6be90-dfb7-11eb-b359-0050568c1ec5:205",
            "file":"mysql-bin.000006",
            "pos":53894,
            "row":0,
            "thread":null,
            "query":null
        },
        "databaseName":"canal",
        "ddl":"DROP TABLE topic_test;"
    }
}

新增一条记录 对应的 topic 数据格式如下

{
    "schema":{
        "type":"struct",
        "fields":[
            {
                "type":"struct",
                "fields":[
                    {
                        "type":"int32",
                        "optional":false,
                        "field":"id"
                    },
                    {
                        "type":"string",
                        "optional":true,
                        "field":"Cname"
                    }
                ],
                "optional":true,
                "name":"uat.canal.topic_test.Value",
                "field":"before"
            },
            {
                "type":"struct",
                "fields":[
                    {
                        "type":"int32",
                        "optional":false,
                        "field":"id"
                    },
                    {
                        "type":"string",
                        "optional":true,
                        "field":"Cname"
                    }
                ],
                "optional":true,
                "name":"uat.canal.topic_test.Value",
                "field":"after"
            },
            {
                "type":"struct",
                "fields":[
                    {
                        "type":"string",
                        "optional":false,
                        "field":"version"
                    },
                    {
                        "type":"string",
                        "optional":false,
                        "field":"connector"
                    },
                    {
                        "type":"string",
                        "optional":false,
                        "field":"name"
                    },
                    {
                        "type":"int64",
                        "optional":false,
                        "field":"ts_ms"
                    },
                    {
                        "type":"string",
                        "optional":true,
                        "name":"io.debezium.data.Enum",
                        "version":1,
                        "parameters":{
                            "allowed":"true,last,false"
                        },
                        "default":"false",
                        "field":"snapshot"
                    },
                    {
                        "type":"string",
                        "optional":false,
                        "field":"db"
                    },
                    {
                        "type":"string",
                        "optional":true,
                        "field":"table"
                    },
                    {
                        "type":"int64",
                        "optional":false,
                        "field":"server_id"
                    },
                    {
                        "type":"string",
                        "optional":true,
                        "field":"gtid"
                    },
                    {
                        "type":"string",
                        "optional":false,
                        "field":"file"
                    },
                    {
                        "type":"int64",
                        "optional":false,
                        "field":"pos"
                    },
                    {
                        "type":"int32",
                        "optional":false,
                        "field":"row"
                    },
                    {
                        "type":"int64",
                        "optional":true,
                        "field":"thread"
                    },
                    {
                        "type":"string",
                        "optional":true,
                        "field":"query"
                    }
                ],
                "optional":false,
                "name":"io.debezium.connector.mysql.Source",
                "field":"source"
            },
            {
                "type":"string",
                "optional":false,
                "field":"op"
            },
            {
                "type":"int64",
                "optional":true,
                "field":"ts_ms"
            },
            {
                "type":"struct",
                "fields":[
                    {
                        "type":"string",
                        "optional":false,
                        "field":"id"
                    },
                    {
                        "type":"int64",
                        "optional":false,
                        "field":"total_order"
                    },
                    {
                        "type":"int64",
                        "optional":false,
                        "field":"data_collection_order"
                    }
                ],
                "optional":true,
                "field":"transaction"
            }
        ],
        "optional":false,
        "name":"uat.canal.topic_test.Envelope"
    },
    "payload":{
        "before":null,
        "after":{
            "id":1,
            "Cname":"name"
        },
        "source":{
            "version":"1.3.1.Final",
            "connector":"mysql",
            "name":"uat",
            "ts_ms":1626771878000,
            "snapshot":"false",
            "db":"canal",
            "table":"topic_test",
            "server_id":1,
            "gtid":"2de6be90-dfb7-11eb-b359-0050568c1ec5:202",
            "file":"mysql-bin.000006",
            "pos":52974,
            "row":0,
            "thread":22,
            "query":null
        },
        "op":"c",
        "ts_ms":1626771878949,
        "transaction":null
    }
}

更新一条记录 对应的 topic 数据格式如下

{
    "schema":{
        "type":"struct",
        "fields":[
            {
                "type":"struct",
                "fields":[
                    {
                        "type":"int32",
                        "optional":false,
                        "field":"id"
                    },
                    {
                        "type":"string",
                        "optional":true,
                        "field":"Cname"
                    }
                ],
                "optional":true,
                "name":"uat.canal.topic_test.Value",
                "field":"before"
            },
            {
                "type":"struct",
                "fields":[
                    {
                        "type":"int32",
                        "optional":false,
                        "field":"id"
                    },
                    {
                        "type":"string",
                        "optional":true,
                        "field":"Cname"
                    }
                ],
                "optional":true,
                "name":"uat.canal.topic_test.Value",
                "field":"after"
            },
            {
                "type":"struct",
                "fields":[
                    {
                        "type":"string",
                        "optional":false,
                        "field":"version"
                    },
                    {
                        "type":"string",
                        "optional":false,
                        "field":"connector"
                    },
                    {
                        "type":"string",
                        "optional":false,
                        "field":"name"
                    },
                    {
                        "type":"int64",
                        "optional":false,
                        "field":"ts_ms"
                    },
                    {
                        "type":"string",
                        "optional":true,
                        "name":"io.debezium.data.Enum",
                        "version":1,
                        "parameters":{
                            "allowed":"true,last,false"
                        },
                        "default":"false",
                        "field":"snapshot"
                    },
                    {
                        "type":"string",
                        "optional":false,
                        "field":"db"
                    },
                    {
                        "type":"string",
                        "optional":true,
                        "field":"table"
                    },
                    {
                        "type":"int64",
                        "optional":false,
                        "field":"server_id"
                    },
                    {
                        "type":"string",
                        "optional":true,
                        "field":"gtid"
                    },
                    {
                        "type":"string",
                        "optional":false,
                        "field":"file"
                    },
                    {
                        "type":"int64",
                        "optional":false,
                        "field":"pos"
                    },
                    {
                        "type":"int32",
                        "optional":false,
                        "field":"row"
                    },
                    {
                        "type":"int64",
                        "optional":true,
                        "field":"thread"
                    },
                    {
                        "type":"string",
                        "optional":true,
                        "field":"query"
                    }
                ],
                "optional":false,
                "name":"io.debezium.connector.mysql.Source",
                "field":"source"
            },
            {
                "type":"string",
                "optional":false,
                "field":"op"
            },
            {
                "type":"int64",
                "optional":true,
                "field":"ts_ms"
            },
            {
                "type":"struct",
                "fields":[
                    {
                        "type":"string",
                        "optional":false,
                        "field":"id"
                    },
                    {
                        "type":"int64",
                        "optional":false,
                        "field":"total_order"
                    },
                    {
                        "type":"int64",
                        "optional":false,
                        "field":"data_collection_order"
                    }
                ],
                "optional":true,
                "field":"transaction"
            }
        ],
        "optional":false,
        "name":"uat.canal.topic_test.Envelope"
    },
    "payload":{
        "before":{
            "id":1,
            "Cname":"name"
        },
        "after":{
            "id":1,
            "Cname":"name2"
        },
        "source":{
            "version":"1.3.1.Final",
            "connector":"mysql",
            "name":"uat",
            "ts_ms":1626772119000,
            "snapshot":"false",
            "db":"canal",
            "table":"topic_test",
            "server_id":1,
            "gtid":"2de6be90-dfb7-11eb-b359-0050568c1ec5:203",
            "file":"mysql-bin.000006",
            "pos":53363,
            "row":0,
            "thread":22,
            "query":null
        },
        "op":"u",
        "ts_ms":1626772119532,
        "transaction":null
    }
}

删除一条记录 对应的 topic 数据格式如下

{
    "schema":{
        "type":"struct",
        "fields":[
            {
                "type":"struct",
                "fields":[
                    {
                        "type":"int32",
                        "optional":false,
                        "field":"id"
                    },
                    {
                        "type":"string",
                        "optional":true,
                        "field":"Cname"
                    }
                ],
                "optional":true,
                "name":"uat.canal.topic_test.Value",
                "field":"before"
            },
            {
                "type":"struct",
                "fields":[
                    {
                        "type":"int32",
                        "optional":false,
                        "field":"id"
                    },
                    {
                        "type":"string",
                        "optional":true,
                        "field":"Cname"
                    }
                ],
                "optional":true,
                "name":"uat.canal.topic_test.Value",
                "field":"after"
            },
            {
                "type":"struct",
                "fields":[
                    {
                        "type":"string",
                        "optional":false,
                        "field":"version"
                    },
                    {
                        "type":"string",
                        "optional":false,
                        "field":"connector"
                    },
                    {
                        "type":"string",
                        "optional":false,
                        "field":"name"
                    },
                    {
                        "type":"int64",
                        "optional":false,
                        "field":"ts_ms"
                    },
                    {
                        "type":"string",
                        "optional":true,
                        "name":"io.debezium.data.Enum",
                        "version":1,
                        "parameters":{
                            "allowed":"true,last,false"
                        },
                        "default":"false",
                        "field":"snapshot"
                    },
                    {
                        "type":"string",
                        "optional":false,
                        "field":"db"
                    },
                    {
                        "type":"string",
                        "optional":true,
                        "field":"table"
                    },
                    {
                        "type":"int64",
                        "optional":false,
                        "field":"server_id"
                    },
                    {
                        "type":"string",
                        "optional":true,
                        "field":"gtid"
                    },
                    {
                        "type":"string",
                        "optional":false,
                        "field":"file"
                    },
                    {
                        "type":"int64",
                        "optional":false,
                        "field":"pos"
                    },
                    {
                        "type":"int32",
                        "optional":false,
                        "field":"row"
                    },
                    {
                        "type":"int64",
                        "optional":true,
                        "field":"thread"
                    },
                    {
                        "type":"string",
                        "optional":true,
                        "field":"query"
                    }
                ],
                "optional":false,
                "name":"io.debezium.connector.mysql.Source",
                "field":"source"
            },
            {
                "type":"string",
                "optional":false,
                "field":"op"
            },
            {
                "type":"int64",
                "optional":true,
                "field":"ts_ms"
            },
            {
                "type":"struct",
                "fields":[
                    {
                        "type":"string",
                        "optional":false,
                        "field":"id"
                    },
                    {
                        "type":"int64",
                        "optional":false,
                        "field":"total_order"
                    },
                    {
                        "type":"int64",
                        "optional":false,
                        "field":"data_collection_order"
                    }
                ],
                "optional":true,
                "field":"transaction"
            }
        ],
        "optional":false,
        "name":"uat.canal.topic_test.Envelope"
    },
    "payload":{
        "before":{
            "id":1,
            "Cname":"name2"
        },
        "after":null,
        "source":{
            "version":"1.3.1.Final",
            "connector":"mysql",
            "name":"uat",
            "ts_ms":1626772247000,
            "snapshot":"false",
            "db":"canal",
            "table":"topic_test",
            "server_id":1,
            "gtid":"2de6be90-dfb7-11eb-b359-0050568c1ec5:204",
            "file":"mysql-bin.000006",
            "pos":53751,
            "row":0,
            "thread":22,
            "query":null
        },
        "op":"d",
        "ts_ms":1626772247638,
        "transaction":null
    }
}
不想做咸鱼的王富贵
关注
专栏目录
Debezium同步之MySQL数据到Kafka的同步
Auspicious航的博客
04-13 1895
目录 一、概述 1.1连接器的工作原理 二、设置 MySQL 2.1 创建用户 2.2 启用二进制日志 2.3 启用 GTID 2.4 配置会话超时 2.5 启用查询日志事件 三、部署 3.1 MySQL 连接器配置示例 3.2 添加连接器配置 一、概述 MySQL 有一个二进制日志（binlog），它按照提交到数据库的顺序记录所有操作。这包括对表模式的更改以及对表中数据的更改。MySQL 使用 binlog 进行复制和恢复。 Debezium MySQL 连接器.
Debezium系列之：debezium同步mysql数据库数据到kafka集群
zhengzaifeidelushang的博客
07-27 774
debezium同步mysql数据库数据到kafka集群 一、修改connect-distributed.sh配置 #!/bin/bash #打开JMX监控 export JMX_PORT=9010 #JVM参数配置优化 export KAFKA_HEAP_OPTS="-Djava.security.auth.login.config=/moudle/debezium/kafka_2.13-2.7.0/config/connect-jaas.conf -Xms28G -Xmx28G -XX:NewSiz
Debezium同步Mysql数据到Kafka
qq_42009405的博客
02-06 1699
debezium环境搭建、动态加表、路由管理、api调用等
Debezium日常分享系列之：Debezium 3.0.0.Alpha2 Released
最新发布
zhengzaifeidelushang的博客
08-08 397
Debezium 3.0.0.Alpha2 版本包含许多新功能和改进，包括基于 Kafka 3.8 构建、JDBC 接收器连接器的重新定位、Debezium Server 中的自定义转换器支持以及对我们社区主导的连接器的多项改进。
Debezium MySQL 同步到kafka
vkingnew 的技术博客
04-03 1807
支持的jar包文件下载： https://repo1.maven.org/maven2/io/debezium/debezium-connector-mysql/0.9.3.Final/debezium-connector-mysql-0.9.3.Final-plugin.tar.gz https://repo1.maven.org/maven2/io/debezium/debezium-co...
Debezium-实时同步MySQL到Kafka的环境搭建
鱼七
12-07 1万+
Debezium-实时同步MySQL到Kafka的环境搭建
Kafka Kafka-Connect Debezium 目标：同步Mysql
pioneer的博客
08-22 2117
Kafka Kafka-Connect Debezium 目标：同步Mysql 现阶段实现到 通过以上插件可以实现检测到Mysql 把更改信息通过 Connect 写入到 Kafka的topic中一下是对现阶段的记录。由于需要多个包，采用docker来进行 首先安装docker yum install docker systemctl start docker 下载镜像 debez...
CDC系列（三）、Debezium 监控MySQL操作日志实时同步到Kafka（对比canal，maxwell）
王义凯 的博客
09-25 1万+
目录 前言 准备工作 配置Connector 注册启动Connector 验证CDC 尾巴 CDC系列： CDC系列（一）、Canal 集群部署及使用（带WebUI） CDC系列（二）、Maxwell_v1.27.1 监控MySQL操作日志实时同步到Kafka 前言 前两篇我们介绍了CDC工具，以及利用Canal和Maxwell监控mysql操作日志并写入kafka，本篇我们来讲解另一个CDC工具：debezium。debezium不仅仅支持mysql的监控，目前最新版已支持mysql
Debezium监控mysql数据并把数据库变动写入kafka
zhengzaifeidelushang的博客
03-15 592
Debezium监控mysql数据并把数据库变动写入kafka 下载debezium-connector-mysql-1.4.2.Final-plugin.tar.gz 1.kafka目录下创建debezium-connector存放文件夹 mkdir - p /moudle/kafka-2.7/conn 2.解压debezium-connector-mysql-1.4.2.Final-plugin.tar.gz #解压 tar -zxvf debezium-connector-mysql-1.4.2
基于Kafka Debezium Confluent实现MySql实时同步到ES
zj007ok的专栏
04-27 1923
实现目标 基于MySql的Binlog实现Mysql表实时同步到ES。 实现方案 1、总体技术方案基于Kafka的Connect技术。具体技术内容，不做介绍，网上有相关文章，本文章主要解决如何配置，因为网上大部分配置都是只能简单运行，只能插入，不能实现数据按照主键进行更新和删除同步的。 2、基于debezium的MySqlConnecto...
Debezium同步MySQL变更到kafka集群及REST API使用方法汇总
lichunliang的博客
01-05 2054
Debezium安装及REST API使用方法 参考文档： Debeziun官方文档：https://debezium.io/documentation/reference/1.3/ https://blog.csdn.net/ylejun/article/details/107272923 一、Kafka-distributed模式安装启动Debezium 1、前期准备 ​ 前期准备需安装kafka、zookeeper集群及MySQL测试数据库 1. kafka集群信息 1.1.1.1:7
Debezium获取MySQL Binlog同步到kafka，sparkStreaming实现实时计算
m0_37723298的博客
09-02 1075
Debezium获取MySQL Binlog同步到kafka，sparkStreaming实现实时计算 版本信息：kafka(kafka_2.11-2.1.1) zookeeper(zookeeper-3.4.10) sprak(spark-2.1.0-bin-hadoop2.7) Debezium(debezium-connector-mysql-0.9.5.Final-plugin.tar.gz) Debezium下载地址 https://repo1.maven.org/maven2/io/debezi
Mysql Binlog + Debezium + Kafka链路打通
善皮之的博客
08-02 745
Mysql Binlog + Debezium + Kafka链路打通（standalone模式） 测试Debezium利用mysql的二进制日志打入Kafka这套链路过程 环境: zookeeper集群（已有） kafka集群（已有） CentOS 7 mysql （已有） 准备软件: confluent community 5.5 start 开启zookeeper集群 开启kafka集群 mysql 要开启binlog，且mysql里面新建一个库 找个目录解压confluent tar
OpenShift 4 - 用Debezium+Kafka实现MySQL数据库的CDC
多恩斯基的博客
07-19 1162
文章目录场景说明部署环境安装MySQL环境安装Kafka Operator创建Kafka集群创建Kafka Connect S2I安装Debezium Connector MySQL Plugin将Debezium Connector配置到example-mysql目标数据库上测试参考 场景说明 部署环境 执行命令创建项目 $ oc new-project debezium-cdc 安装MySQL环境 在第一个Terminal中执行命令部署MySQL。 $ oc new-app docker.io/
SODBASE实时大数据基础（一）：实时同步Mysql数据库到Kafka
热门推荐
happynyear的博客
04-09 1万+
实时大数据平台需要有一系列的基础，例如将业务数据库同步到基于Hadoop架构的数据仓库，从而解决大数据实时查询的需求。同时，相比全量同步数据也减少对网络带宽的消耗。
mysql+ debezium 发送kafka 消息
oDianZi1234567的博客
08-22 420
https://blog.csdn.net/wsywb111/article/details/91987299 https://debezium.io/documentation/reference/1.7/connectors/mysql.html Debezium MySQL源连接器配置属性 https://blog.csdn.net/huryer/article/details/104742800/ //mysql.properties name=inventory-connecto
mysql+debezium+kafka+logstash+hdfs
weixin_42934205的博客
06-30 275
mysql+debezium+kafka+logstash+hdfs 利用debezium解析mysql的日志文件，将解析得到的日志文件传到kafka的topic中，最后利用logstash消费kafka中的数据到hdfs中。 首先开启mysql的binlog 修改/etc/my.cnf文件，在里面添加 server-id = 100 log-bin = mysql_bin binlog_format = ROW Mysql需要一个有mysql slave权限的账号，如果mysql不在本机，则需要一个远程
debezium+kafka实现mysql数据库的双向数据增量同步
lxs的博客
04-16 4865
一.部署前需要准备的东西 jdk：1.8.0_181 confluent：5.4.1 debezium：1.1.0.Final 修改数据库配置文件my.cnf 或 my.inf server-id=11 log-bin=mysql-bin #添加这一行就ok binlog-format=ROW #选择row模式 binlog_r...
MySQL增量同步neo4j
07-29
其中一种方式是通过使用ETL工具，如Apache Kafka或Debezium，将MySQL的变更数据捕获并发送到消息队列，然后使用Neo4j的API或自定义程序将这些变更应用到Neo4j数据库中。另一种方式是使用Neo4j提供的Neo4j Connector ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值