大数据技术之Debezium

最新推荐文章于 2024-07-05 08:30:00 发布
最新推荐文章于 2024-07-05 08:30:00 发布
阅读量1.4w 收藏 37
点赞数 2
分类专栏： 技术分享
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40898246/article/details/108327247
版权

Debezium概述

Debezium是用于捕获变更数据的开源分布式平台。可以响应数据库的所有插入，更新和删除操作。Debezium依赖于kafka上，所以在安装Debezium时需要提前安装好Zookeeper，Kafka，以及Kakfa Connect。

Kafka Connect

Kafka Connect用于在Apache Kafka和其他系统之间可扩展且可靠地数据流传输数据的工具，连接器可以轻松地将大量数据导入或导出。

  Kafka Connect当前支持两种模式，standalone和distributed两种模式。
  
  standalone主要用于入门测试，所以我们来实现distributed模式。
  
  官网地址：https://kafka.apache.org/documentation.html#connect
  
  Distributed，分布式模式可以在处理工作中自动平衡，允许动态扩展或缩减，并在活动任务以及配置和偏移量提交数据中提供容错能力。和standalone模式非常类似，最大区别在于启动的类和配置参数，参数决定了Kafka Connect流程如果存储偏移量，如何分配工作，在分布式模式下，Kafka Connect将偏移量，配置和任务状态存储在topic中。建议手动创建topic指定分区数，也可以通过配置文件参数自动创建topic。

参数配置：

  • group.id 默认connect-cluster 集群的唯一名称，不能重名，用于形成connect集群组

  • config.storage.topic 用于存储kafka connector和任务配置信息的topic。

  • offset.storage.topic 用于存储偏移量的topic。

  • status.storage.topic 用于存储状态的topic。

配置

[root@hadoop101 ~]# cd /opt/module/kafka_2.11-2.4.0/config/
[root@hadoop101 config]# vim connect-distributed.properties 
bootstrap.servers=hadoop101:9092,hadoop102:9092,hadoop103:9092
group.id=connect-mysql
key.converter=org.apache.kafka.connect.json.JsonConverter
value.converter=org.apache.kafka.connect.json.JsonConverter
key.converter.schemas.enable=true
value.converter.schemas.enable=true
offset.storage.topic=connect-mysql-offsets
offset.storage.replication.factor=2
config.storage.topic=connect-mysql-configs
config.storage.replication.factor=2
status.storage.topic=connect-mysql-status
status.storage.replication.factor=2
offset.flush.interval.ms=10000

安装Debezium对MySql的支持

（1）创建kafka plugins文件夹

[root@hadoop101 module]# mkdir -p /usr/local/share/kafka/plugins/

（2）上传debezium-connector-mysql-1.2.0.Final-plugin.tar，并解压

[root@hadoop101 software]# tar -zxvf debezium-connector-mysql-1.2.0.Final-plugin.tar.gz -C /usr/local/share/kafka/plugins/

（3）修改mysql配置，如果是rpm的方式安装MySql的那么则没有my.cnf文件，则需要修改mysql-default.cnf然后复制到/etc/路径下，如果/etc/路径下有my.cnf则直接修改my.cnf即可。安装mysql参考之前文档

[root@hadoop101 software]# vim /usr/share/mysql/my-default.cnf 
[mysqld]
server_id=1
log-bin=mysql-bin 
binlog-format=ROW

（4）复制my-default.conf到/etc路径下

[root@hadoop101 software]# cp /usr/share/mysql/my-default.cnf /etc/my.cnf

（5）修改mysql参数，并创建binlog用户

[root@hadoop101 software]# mysql -uroot -p123456
mysql> set global binlog_format=ROW;
mysql> set global binlog_row_image=FULL;
mysql> CREATE USER 'testbinlog'@'%' IDENTIFIED BY '123456'
mysql> GRANT ALL PRIVILEGES ON  *.* to "testbinlog"@"%" IDENTIFIED BY "123456";
mysql> use user;
mysql> delete from user where host='localhost';
mysql> FLUSH PRIVILEGES;

（6）重启mysql

[root@hadoop101 software]# service mysql restart

（7）再次修改kafka下的connect-distributed.properties文件，添加plugins路径

[root@hadoop101 ~]# vim /opt/module/kafka_2.11-2.4.0/config/connect-distributed-mysql.properties plugin.path=/usr/local/share/kafka/plugins/

（8）分发plugins文件夹,分发connect-distributed.properties

[root@hadoop101 share]# scp -r /usr/local/share/kafka/  hadoop102:/usr/local/share/
[root@hadoop101 share]# scp -r /usr/local/share/kafka/  hadoop103:/usr/local/share/
[root@hadoop101 config]# scp connect-distributed.properties  hadoop102:/opt/module/kafka_2.11-2.4.0/config/
[root@hadoop101 config]# scp connect-distributed.properties  hadoop102:/opt/module/kafka_2.11-2.4.0/config/

（9）启动zk,启动kafka
（10）启动kafka connect

[root@hadoop101 kafka_2.11-2.4.0]# bin/connect-distributed.sh -daemon config/connect-distributed.properties
[root@hadoop102 kafka_2.11-2.4.0]# bin/connect-distributed.sh -daemon config/connect-distributed.properties
[root@hadoop103 kafka_2.11-2.4.0]# bin/connect-distributed.sh -daemon config/connect-distributed.properties

（12）启动Debezium,发送http请求

[root@hadoop101 ~]# curl -H "Content-Type: application/json" -X POST -d  '{
      "name" : "inventory-connector",
      "config" : {
          "connector.class" : "io.debezium.connector.mysql.MySqlConnector",
         "database.hostname" : "hadoop101",
          "database.port" : "3306",
          "database.user" : "testbinlog",
          "database.password" : "123456",
          "database.server.id" : "184054",
          "database.server.name" : "mysql",
          "database.whitelist" : "test",
          "database.history.kafka.bootstrap.servers":"hadoop101:9092,hadoop102:9092,hadoop103:9092",
          "database.history.kafka.topic":"binlogtest",
          "include.schema.change":"true"
      }
  }' http://hadoop101:8083/connectors

database.server.name 对应数据库逻辑名称
database.whitelist 需要监控的数据库白名单，正则表达式。也有黑名单，用了白名单就不能用黑名单反之一样。
配置参数参考，官网

https://debezium.io/documentation/reference/1.2/connectors/mysql.html

（13）发送请求成功后，可以通过http请求浏览状态

image.png

保证状态都是running

（14）运行成功后可以通过kafka命令查看topic个数，多出了我们需要的监听的topic
image.png

（15）客户端连接mysql,进行修改操作
image.png

（16）查看对应的topic信息

[root@hadoop102 kafka_2.11-2.4.0]#  bin/kafka-console-consumer.sh --bootstrap-server hadoop101:9092 --topic  mysql.test.wordcount --from-beginning

image.png
将数据复制出来，进行格式化。

{
	"schema": {
		"type": "struct",
		"fields": [{
			"type": "struct",
			"fields": [{
				"type": "int32",
				"optional": false,
				"field": "id"
			}, {
				"type": "string",
				"optional": true,
				"field": "appname"
			}, {
				"type": "int32",
				"optional": true,
				"field": "value"
			}],
			"optional": true,
			"name": "mysql.test.wordcount.Value",
			"field": "before"
		}, {
			"type": "struct",
			"fields": [{
				"type": "int32",
				"optional": false,
				"field": "id"
			}, {
				"type": "string",
				"optional": true,
				"field": "appname"
			}, {
				"type": "int32",
				"optional": true,
				"field": "value"
			}],
			"optional": true,
			"name": "mysql.test.wordcount.Value",
			"field": "after"
		}, {
			"type": "struct",
			"fields": [{
				"type": "string",
				"optional": false,
				"field": "version"
			}, {
				"type": "string",
				"optional": false,
				"field": "connector"
			}, {
				"type": "string",
				"optional": false,
				"field": "name"
			}, {
				"type": "int64",
				"optional": false,
				"field": "ts_ms"
			}, {
				"type": "string",
				"optional": true,
				"name": "io.debezium.data.Enum",
				"version": 1,
				"parameters": {
					"allowed": "true,last,false"
				},
				"default": "false",
				"field": "snapshot"
			}, {
				"type": "string",
				"optional": false,
				"field": "db"
			}, {
				"type": "string",
				"optional": true,
				"field": "table"
			}, {
				"type": "int64",
				"optional": false,
				"field": "server_id"
			}, {
				"type": "string",
				"optional": true,
				"field": "gtid"
			}, {
				"type": "string",
				"optional": false,
				"field": "file"
			}, {
				"type": "int64",
				"optional": false,
				"field": "pos"
			}, {
				"type": "int32",
				"optional": false,
				"field": "row"
			}, {
				"type": "int64",
				"optional": true,
				"field": "thread"
			}, {
				"type": "string",
				"optional": true,
				"field": "query"
			}],
			"optional": false,
			"name": "io.debezium.connector.mysql.Source",
			"field": "source"
		}, {
			"type": "string",
			"optional": false,
			"field": "op"
		}, {
			"type": "int64",
			"optional": true,
			"field": "ts_ms"
		}, {
			"type": "struct",
			"fields": [{
				"type": "string",
				"optional": false,
				"field": "id"
			}, {
				"type": "int64",
				"optional": false,
				"field": "total_order"
			}, {
				"type": "int64",
				"optional": false,
				"field": "data_collection_order"
			}],
			"optional": true,
			"field": "transaction"
		}],
		"optional": false,
		"name": "mysql.test.wordcount.Envelope"
	},
	"payload": {
		"before": {
			"id": 3,
			"appname": "aa",
			"value": 4
		},
		"after": {
			"id": 3,
			"appname": "aa",
			"value": 6
		},
		"source": {
			"version": "1.2.0.Final",
			"connector": "mysql",
			"name": "mysql",
			"ts_ms": 1597740355000,
			"snapshot": "false",
			"db": "test",
			"table": "wordcount",
			"server_id": 1,
			"gtid": null,
			"file": "mysql-bin.000002",
			"pos": 861,
			"row": 0,
			"thread": 8,
			"query": null
		},
		"op": "u",
		"ts_ms": 1597740355324,
		"transaction": null
	}
}

image.png
数据不仅包含了表的schema信息，也有修改前和修改后的数据。

（17）如果要删除对应connector，使用delete请求

curl -v -X DELETE http://hadoop101:8083/connectors/inventory-connector
青涩的芒果汁
关注
  • 2
    点赞
  • 踩
  • 37
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
大数据技术组件选型对比.pdf
05-18
大数据技术组件选型是当前大数据领域中的重要议题，涉及到如何高效、稳定地处理海量数据。在对比各种组件时，我们需要考虑其性能、灵活性、生态支持以及特定场景的应用。以下是几个关键的技术组件及其特点： 1. **...
实时数仓_FlinkCDC.pdf
11-03
- 基于Binlog的CDC：如Canal、Maxwell、Debezium等，它们监听数据库的二进制日志（Binlog），实时捕获所有数据变更，延迟低且不会显著增加数据库压力。 1.2 Flink-CDC Flink社区开发的flink-cdc-connectors组件，为...
大数据平台之数据同步
最新发布
youziguo的专栏
07-05 856
Change Data Capture (CDC) 是一种用于跟踪和捕获数据库中数据变更的技术，它可以在数据发生变化时实时地将这些变更捕获并传递到下游系统。以下是一些常用的开源 CDC 方案：
Debezium同步MySQL实时数据并解决数据重复消费问题
zhugedali_的博客
06-29 178
这意味着对于相同的数据输入，多次处理的结果应该是相同的，不会产生副作用。确保在成功处理数据后，正确更新偏移量，以避免重复消费已经处理过的数据段。总之，解决 Debezium 同步 MySQL 实时数据中的重复消费问题需要综合考虑上述策略，并根据实际的业务场景和系统架构进行优化和调整。在消费时，通过维护一个已处理数据的标识符集合，来判断新接收到的数据是否已经处理过，从而进行去重。- 在处理关键数据时，可以使用分布式锁来保证同一时间只有一个消费者实例在处理特定的数据，避免并发处理导致的重复问题。
大数据技术之 Flink-CDC
我从不打没有准备的仗！
03-13 6885
大数据技术之 Flink-CDC
Debezuim详细介绍
OutRoading的博客
02-24 534
Debezuim是用于捕获变更数据的开源工具，可以响应数据库的所有插入，修改，删除操作。它是一种CDC工具，工作原理和大家所熟悉的Canal，Maxwell一样，均是抽取 数据库日志 来变更的Debezuim是构建在 Apach Kafka之上，并提供Kafka连接器来监视特定的数据库管理官网： https://debezuim.io/
尚硅谷大数据技术之 Flink-CDC（转）
qq_24095055的博客
07-10 1209
CDC 是 Change Data Capture(变更数据获取)的简称。核心思想是，监测并捕获数据库的变动（包括数据或数据表的插入、更新以及删除等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。CDC 主要分为基于查询和基于 Binlog 两种方式，我们主要了解一下这两种之间的区别： Flink 社区开发了 组件，这是一个可以直接从 MySQL、PostgreSQL 等数据库直接读取全量数据和增量变更数据的 source 组件。目前也已开源，开源地址： https:
sgg大数据全套技术链接网盘地址
yuanlaishidahuaa的博客
12-04 1644
感谢尚硅谷
大数据平台之数据存储
热门推荐
959
08-03 1万+
大数据之数据存储技术
大数据技术组件选型对比
weixin_45727359的博客
11-04 2309
中间件pulsarvs kafka Flink CDCvs Debezium Flink CDC更灵活，支持DataStreamAPI和SQL两种方式同步数据，便于对数据做⼀些ETL,FlinkCDC分布式架构不仅仅体现在数据读取能⼒的⽔平扩展 上，更重要的是在⼤数据场景下分布式系统接⼊能⼒。例如 Flink CDC 的数据⼊湖或者⼊仓的时候，下游通常 是分布式的系统，如...
sgg大数据全套技术链接[plus]
yuanlaishidahuaa的博客
04-10 675
链接：https://pan.baidu.com/s/1pT5Pdnjy4hLiFX2Oov4BLQ。链接：https://pan.baidu.com/s/1SVt51kJjvFnNcMR30glOyA。链接：https://pan.baidu.com/s/1A4uQuhcHwaEPOUJSpP19Rw。链接：https://pan.baidu.com/s/1RZYAitVMb8d1XWxIC6GBOg。链接：https://pan.baidu.com/s/1bvkGjUhk4TlXw06XxI6vqQ。
大数据CDC技术
wnm23的专栏
04-09 2764
CDC全称是Change Data Capture，是一种捕获增量数据的技术统称，目前主要应用在捕获数据库数据变更的技术。其中数据库变更包括DDL,DML,DCL的语句触发的表更。在数据备份容灾、数据分发、面向数仓的数据集成等场景中广泛应用。在增量数据识别中，增量捕获能否实现更多依赖于源端系统。
大数据技术之Flink CDC视频教程[视频课程].txt打包整理.zip
03-06
【大数据技术之Flink CDC视频教程】是一门深入解析Flink Change Data Capture（CDC）的课程，旨在帮助学习者掌握如何利用Flink处理实时数据流并实现高效的数据变更捕获。这门视频教程可能涵盖了从基础理论到实战应用...
基于 Flink CDC 实现海量数据的实时同步和转换.pdf
03-21
基于 Flink CDC 实现海量数据的实时...Flink CDC 技术是实现海量数据的实时同步和转换的不二之选。Flink CDC 技术可以满足大规模数据的实时同步和转换需求，提供高吞吐、低延迟、高可扩展性和高可维护性的解决方案。
基于flink-cdc实现监控数据源的实时变更数据捕获
06-06
以及基于日志的CDC，如Debezium、Canal和Flink-CDC，后者通过解析数据库的日志来实时获取变更。Flink-CDC因其全增量一体化同步、分布式架构和强大的数据加工能力而备受青睐。 **二、为何使用CDC及适用场景** 随着...
Hadoop架构概述
weixin_40898246的博客
06-06 4447
HDFS架构概述 HDFS（Hadoop Distributed File System）的架构概述 NameNode(nn)：存储文件的元数据，如文件名、文件目录结构、文件属性(生成时间、副本数、文件权限)，以及每个文件的块列表和块所在的DataNode等。 DataNode(dn)：在本地文件系统中存储文件块数据，以及块数据的校验和。 Secondary NameNode(2nn)：用来监控...
flink 消费Kafka 空指针问题
weixin_40898246的博客
12-14 3949
flink 消费Kafka 空指针问题 error： 2021-12-02 10:51:55,644 WARN org.apache.flink.runtime.taskmanager.Task [] - Source: Custom Source (1/3)#4 (92d97e5b78862c632d32b272b843bf4b) switched from RUNNING to FAILED with failure cause: java.lang.NullPointerException a
Ambari入门及安装
weixin_40898246的博客
11-07 3708
Ambari简述 什么是Ambari Apache Ambari项目旨在通过开发用于配置，管理和监控Apache Hadoop集群的软件来简化Hadoop管理。Ambari提供了一个直观，易用的Hadoop管理Web UI。 Ambari的功能 提供了跨任意数量的主机安装Hadoop服务的分步向导。 处理群集的Hadoop服务配置。 提供集中管理，用于在整个集群中启动，停止和重新配置Hadoop服务。 提供了一个仪表板，用于监控Hadoop集群的运行状况和状态。 利用Ambari指标系统进行指标收集。 利用
大数据技术之Hadoop应用详解
"大数据和Hadoop" 大数据是指无法在tolerable时间内通过传统数据库管理工具或传统数据处理应用程序处理的巨型数据集合。这些数据集的规模和复杂度非常高，以至于无法使用传统的数据处理方法来处理它们。根据Gartner...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值