mongodb使用debezium

已于 2024-06-25 16:57:50 修改
阅读量1.1k 收藏 6
点赞数 24
分类专栏： mongoDB 文章标签： mongodb 数据库 debezium
于 2024-04-25 18:14:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44728369/article/details/138196159
版权

前置

服务器上需要安装jdk11
jdk下载地址

kafka安装

官网下载地址

安装教程

debezium 安装

运行 Debezium 连接器需要 Java 11 或更高版本
Debezium 并不是一个独立的软件，而是很多个 Kafka 连接器的总称。这些 Kafka 连接器分别对应不同的数据库，比如 MySQL、Oracle 等。按 Kafka 连接器的常见命名规则，可能我们会把它们叫做 MySQL Kafka Source Connector 之类。

部署

1.下载对应版本的debezium插件

插件地址
在这里插入图片描述
在这里插入图片描述

2.文件解压

将下载的文件解压,将解压后的文件放到kafka的plugin文件夹下(该plugin文件夹为自己创建的plugin文件夹)*,例如
在这里插入图片描述

3. 通过 kafka connect部署

kafka connect有两种部署方式，一是单机部署，二是分布式部署。单机部署配置kafka/config/connect-standalone.properties 文件，分布式部署则配置kafka/config/connect-distributed.properties。分布式部署支持通过rest api管理connector

此处是单机部署，配置文件为kafka/config/connect-standalone.properties，主要修改以下内容：

# plugin.path=/usr/local/share/java,/usr/local/share/kafka/plugins,/opt/connectors,
plugin.path=/usr/local/kafka/plugin

4.启动kafka-connect

需要先启动kafka

bin/connect-standalone.sh config/connect-standalone.properties

5.创建对应的debezium配置文件

在这里插入图片描述

curl -X POST http://${debezium所在服务器}:8083/connectors

{
	"name": "cdc-connector",
	"config": {
		"connector.class": "io.debezium.connector.mongodb.MongoDbConnector",
		"mongodb.connection.string": "mongodb://root:123456@192.168.2.18:27017,192.168.2.19:27017/?authSource=admin",
		"collection.include.list": "db_cdc_1.c_cdc_2",
		"topic.prefix": "mycdc",
		"capture.mode":"change_streams"
	}
}
  • 192.168.2.18:27017,192.168.2.19:27017为路由服务
  • 如果需要在cdc输出的语句上显示before信息,需要开启mongodb版本 6.0 中的新增功能changeStreamPreAndPostImages,并且在capture.mode上使用change_streams_with_pre_image或change_streams_update_full_with_pre_image
  • 如果capture.mode未设置成change_streams_with_pre_image或change_streams_update_full_with_pre_image的话,在进行删除时cdc输出会没有before信息
    在这里插入图片描述
db.runCommand({
  collMod: "对应的controllerName", 
  changeStreamPreAndPostImages: {
    enabled: true
  } 
})
例如:
use db_cdc_1
db.runCommand({
  collMod: "c_cdc_2", 
  changeStreamPreAndPostImages: {
    enabled: true
  } 
})

{
	"name": "cdc-connector",
	"config": {
		"connector.class": "io.debezium.connector.mongodb.MongoDbConnector",
		"mongodb.connection.string": "mongodb://root:123456@192.168.2.18:27017,192.168.2.19:27017/?authSource=admin",
		"collection.include.list": "db_cdc_1.c_cdc_2",
		"topic.prefix": "mycdc",
		"capture.mode":"change_streams_with_pre_image"
	}
}

在这里插入图片描述

重点参数

参数描述
connector.class固定值io.debezium.connector.mongodb.MongoDbConnector
mongodb.connection.stringmongodb连接信息
collection.include.list需要监听的具体collection
topic.prefixkafkaTopic前缀
capture.mode输出模式(默认:change_streams_update_full)

capture.mode

模式描述
change_streams输出变化流,但是在进行update操作时,不输出after字段
change_streams_update_full在change_streams的基础上,增加after字段,用于输出现在变化后的数据的内容
change_streams_with_pre_image在change_streams的基础上,增加before字段的输出,但需要进行配置
change_streams_update_full_with_pre_image在change_streams_with_pre_image的基础上增加,增加after字段,用于输出现在变化后的数据的内容

其他未使用参数

参数描述
database.include.list需要监听的具体database
database.exclude.list不监听的database(不要与database.include.list填写相同的db)
collection.exclude.list不监听的collection(不要与collection.include.list填写相同的collection)
snapshot.mode指定在连接器启动时执行快照的条件。Initial(默认:重头开始)当连接器启动时，如果没有在其偏移主题中检测值，它会执行数据库的快照。never(从当前位置开始)当连接器启动时，它会跳过快照进程，并立即开始将数据库记录的操作流传输到 oplog。

更多参数请参考
在这里插入图片描述

cdc结果

原数据

{
  "userId": "1000000",
  "allPoints": 190,
  "createTime": {
    "$date": "2024-04-25T13:31:59.678Z"
  },
  "updateTime": {
    "$date": "2024-04-25T13:31:59.678Z"
  }
}

添加数据

在这里插入图片描述
在这里插入图片描述
capture.mode两种模式输出结果一样

push数据

{
  $push: {
	"history":{
      "historyId": "1",
      "changerPoints": 0,
      "beforePoints": 0,
      "afterPoints": 0,
      "status": "0",
      "createTime": {
        "$date": "2024-01-01T16:00:00.000Z"
      },
      "comment": "测试数据",
      "versionNo": 0
    }
  },
}

在这里插入图片描述

第一次添加

{"payload": {
    "before": null,
    "after": null,
    "updateDescription": {
      "removedFields": null,
      "updatedFields": "{\"history\": [{\"historyId\": \"1\", \"changerPoints\": 0, \"beforePoints\": 0, \"afterPoints\": 0, \"status\": \"0\", \"createTime\": {\"$date\": \"2024-01-01T16:00:00.000Z\"}, \"comment\": \"测试数据\", \"versionNo\": 0}]}",
      "truncatedArrays": null
    }}

在这里插入图片描述

第二次添加

在这里插入图片描述

{"payload": {
    "before": null,
    "after": null,
    "updateDescription": {
      "removedFields": null,
      "updatedFields": "{\"history.1\": {\"historyId\": \"2\", \"changerPoints\": 0, \"beforePoints\": 0, \"afterPoints\": 0, \"status\": \"0\", \"createTime\": {\"$date\": \"2024-01-01T16:00:00.000Z\"}, \"comment\": \"测试数据\", \"versionNo\": 0}}",
      "truncatedArrays": null
    }}

在这里插入图片描述

如果capture.mode为change_streams_update_full,则会在after字段上显示现在修改的这条数据的完整数据,例如
在这里插入图片描述

修改数组中的值

在这里插入图片描述

{"payload": {
    "before": null,
    "after": null,
    "updateDescription": {
      "removedFields": null,
      "updatedFields": "{\"history.1.historyId\": \"100\"}",
      "truncatedArrays": null
    }}

在这里插入图片描述
如果capture.mode为change_streams_update_full,则会在after字段上显示现在修改的这条数据现有的完整数据,例如
在这里插入图片描述

pull操作

在这里插入图片描述

{
  $pull: {
    history: {
      historyId: "100",
    },
  },
}

在这里插入图片描述
此时会把现有的所有数据都返回

{"payload": {
    "before": null,
    "after": null,
    "updateDescription": {
      "removedFields": null,
      "updatedFields": "{\"history\": [{\"historyId\": \"1\", \"changerPoints\": 0, \"beforePoints\": 0, \"afterPoints\": 0, \"status\": \"0\", \"createTime\": {\"$date\": \"2024-01-01T16:00:00.000Z\"}, \"comment\": \"测试数据\", \"versionNo\": 0}, {\"historyId\": \"2\", \"changerPoints\": 0, \"beforePoints\": 0, \"afterPoints\": 0, \"status\": \"0\", \"createTime\": {\"$date\": \"2024-01-01T16:00:00.000Z\"}, \"comment\": \"测试数据\", \"versionNo\": 0}, {\"historyId\": \"3\", \"changerPoints\": 0, \"beforePoints\": 0, \"afterPoints\": 0, \"status\": \"0\", \"createTime\": {\"$date\": \"2024-01-01T16:00:00.000Z\"}, \"comment\": \"测试数据\", \"versionNo\": 0}, {\"historyId\": \"4\", \"changerPoints\": 0, \"beforePoints\": 0, \"afterPoints\": 0, \"status\": \"0\", \"createTime\": {\"$date\": \"2024-01-01T16:00:00.000Z\"}, \"comment\": \"测试数据\", \"versionNo\": 0}]}",
      "truncatedArrays": null
    }}

在这里插入图片描述
如果capture.mode为change_streams_update_full,则会在after字段上显示现在修改的这条数据现有的完整数据,例如在这里插入图片描述

删除字段

在这里插入图片描述

{  "payload": {
    "before": null,
    "after": null,
    "updateDescription": {
      "removedFields": [
        "updateTime"
      ],
      "updatedFields": "{}",
      "truncatedArrays": null
    }
  }

在这里插入图片描述
如果capture.mode为change_streams_update_full,则会在after字段上显示现在修改的这条数据现有的完整数据(此处删除的是另外一个字段),例如
在这里插入图片描述

删除数据

在这里插入图片描述
在这里插入图片描述
如果capture.mode未设置成change_streams_with_pre_image或change_streams_update_full_with_pre_image的话,在进行删除时cdc输出会没有before信息
在这里插入图片描述
通过开启mongodb版本 6.0 中的新增功能changeStreamPreAndPostImages,并且在capture.mode上使用change_streams_with_pre_image或change_streams_update_full_with_pre_image即可解决

db.runCommand({
  collMod: "对应的controllerName", 
  changeStreamPreAndPostImages: {
    enabled: true
  } 
})
例如:
use db_cdc_1
db.runCommand({
  collMod: "c_cdc_2", 
  changeStreamPreAndPostImages: {
    enabled: true
  } 
})

{
	"name": "cdc-connector",
	"config": {
		"connector.class": "io.debezium.connector.mongodb.MongoDbConnector",
		"mongodb.connection.string": "mongodb://root:123456@192.168.2.18:27017,192.168.2.19:27017/?authSource=admin",
		"collection.include.list": "db_cdc_1.c_cdc_2",
		"topic.prefix": "mycdc",
		"capture.mode":"change_streams_with_pre_image"
	}
}

在这里插入图片描述

weixin_44728369
关注
  • 24
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
Debezium系列之：使用Debezium接入MongoDB数据库数据，赋予账号数据采集的权限
zhengzaifeidelushang的博客
03-16 802
当MongoDB账号无数据采集的权限，会导致MongoDB debezium connector连接上MongoDB数据库后，由于账号权限不够，会反复尝试连接MongoDB数据库，从而造成MongoDB数据库的连接数一直增加，甚至导致MongoDB数据库挂掉。 因此，需要给MongoDB数据库账号赋予足够的权限
基于Debezium 实时同步Mongodb 数据
qq_34741911的博客
09-10 2466
1.1 Debezium 介绍 Debezium 是一个分布式的平台 ，注册source connector 用于源集群和kafka进行连接， 捕获原集群数据库中的更改记录，并将更改记录进行解析成相应的格式，以消息的形式保存到kafka中， 也可以注册sink connector 用于kafka 与 目的集群进行连接，消费kafka中的数据记录，并解析成数据库中能插入的sql语句。 下图为Debezium的整个架构，Debezium以插件的形式，部署在 Kafka Connect 上，Kafka Co
用于 MongoDB 的 Debezium 连接器
三毛码代码
07-16 1182
MongoDB的复制机制提供了冗余和高可用性，是在生产环境中运行MongoDB的首选方式。MongoDB连接器捕获副本集或分片集群中的更改。MongoDB副本集由一组服务器组成，这些服务器都具有相同数据的副本，并且复制可确保客户端对副本集主节点上的文档所做的所有更改都正确应用于另一个副本集的服务器，称为辅助节点。MongoDB复制的工作原理是让主节点在其oplog（或操作日志）中记录更改，然后每个辅助节点读取主节点的oplog并按顺序将所有操作应用于自己的文档。快照。...
Debezium日常分享系列之：Debezium2.4版本之用于 MongoDB的Debezium 连接器
zhengzaifeidelushang的博客
10-24 836
Debezium 的 MongoDB 连接器跟踪 MongoDB 副本集或 MongoDB 分片集群以获取数据库和集合中的文档更改，并将这些更改记录为 Kafka 主题中的事件。连接器自动处理分片集群中分片的添加或删除、每个副本集成员资格的更改、每个副本集中的选举以及等待通信问题的解决。
debezium-debezium-connector-mongodb-2.0.0.Final
11-23
9. **安全性**：连接器支持使用MongoDB认证和授权，确保数据的安全传输。 10. **性能优化**：通过合理的配置，如批处理大小和心跳间隔，可以在不影响性能的情况下实现高效的数据捕获和传输。 总之，"debezium-...
jdbc java mongodb mysql 相互同步
01-13
本文将深入探讨如何使用Java的JDBC（Java Database Connectivity）接口与MongoDB、MySQL数据库进行数据交互，并实现相互之间的数据同步。 首先，我们需要理解JDBC，它是Java语言访问数据库的标准API，能够连接并...
flink-connector-debezium:此项目主要应用于数据中台或数据平台的数据总线，支持直接实时监听MySQL、MongoDB、PostgreSQL、Oracle、SQL Server、Db2和Cassandra等数据库的数据变更
05-31
目前Debezium支持了MySQL、MongoDB、PostgreSQL、Oracle、SQL Server、Db2和Cassandra。理论上此连接器也支援以上所有数据库。 Getting Started mvn clean package -DskipTests example 参考DebeziumSourceITCase
debezium-server-pubsubplus
02-09
6. **Event-driven Architecture**：使用Debezium Server PubSub+，可以构建事件驱动的架构，其中数据库变更事件触发业务流程，比如触发微服务间的通信，或者更新数据湖。 7. **Scalability and Reliability**：Pub...
flink cdc连接mongodb、mysql的maven项目例子工程代码。
05-22
标题中的“flink cdc连接mongodb、mysql的maven项目例子工程代码”表明这是一个使用Apache Flink Change Data Capture (CDC)技术来实时处理MongoDB和MySQL数据库数据变化的Maven项目示例。在这个项目中，开发者可以...
MongoDB教程（九）：java集成mongoDB
菜鸟小码的博客
07-17 489
在现代应用程序开发中，MongoDB 作为一种高性能、灵活的 NoSQL 数据库，越来越受到开发者们的青睐。而 Java，作为企业级应用开发的主流语言之一，与 MongoDB 的集成显得尤为重要。本文将详细阐述如何在 Java 应用中引入 MongoDB，包括必要的库添加、连接配置、基本的 CRUD 操作，以及一些高级功能的使用，通过具体案例代码展示每一个步骤。
MongoDB教程（六）：mongoDB复制副本集
菜鸟小码的博客
07-15 957
MongoDB 的复制副本集（Replica Set）是 MongoDB 实现高可用性和数据冗余的重要机制。本文将详细介绍 MongoDB 复制副本集的工作原理、架构、配置步骤，并通过一个详细的案例来说明如何搭建一个基本的 MongoDB 复制副本集。
MongoDB Shard 集群 Docker 部署
千度阿三的博客
07-14 343
将 shard1 shard2 shard3 容器初始化并验证。分别在三台上启动 Config Server 容器。初始化 Config Server 复制集。在 mongo1 上部署容器。在 mongo2 上部署容器。在 mongo3 上部署容器。
MongoDB教程（七）：mongoDB分片
菜鸟小码的博客
07-16 835
在高并发和大规模数据存储的场景下，单一MongoDB实例往往难以承载巨大的数据量和流量压力。MongoDB分片（Sharding）技术通过将数据水平分割并分布到多个MongoDB实例（分片）上，实现了数据存储的水平扩展，从而极大地提升了系统的可扩展性和性能。本文将深入探讨MongoDB分片的原理、配置步骤、案例代码以及最佳实践，旨在帮助读者掌握构建和管理MongoDB分片集群的能力。
Mongodb文本索引
最新发布
威赞的专栏
07-17 831
文本索引，能够支持保存字符串字段的文本查询。文本索引，提高了基于单个词语或短语的查询性能。一个集合中，只能有一个文本索引，但该文本索引可以包含多个字段。使用下面的语法来向集合中添加文本索引...文本索引，支持使用$text操作符，查询用户自己搭建的Mongodb服务器。但用户在使用$text时，必须添加文本索引。
MongoDB教程（十）：Python集成mongoDB
菜鸟小码的博客
07-17 461
在现代软件开发中，Python 以其简洁的语法和强大的库支持，成为了数据科学、Web 开发、自动化脚本等多个领域的首选语言。MongoDB，作为一款流行的 NoSQL 数据库，以其灵活性和高性能，广泛应用于海量数据的存储和管理。本文将详细介绍如何在 Python 应用中引入 MongoDB，涵盖库的安装、数据库连接、基本的 CRUD 操作，以及一些高级功能的使用，通过具体案例代码展示每一个步骤。
MongoDB 基本查询语句
大宝的博客
07-17 588
mongodb查询
Mongodb多键索引中索引边界的混合
威赞的专栏
07-16 959
索引边界定义了索引值的区间段。Mongodb在查询时，用这个区间段来查询索引中的数据。当用户针对索引字段指定多个查询条件时，mongdb尝试合并这些查询条件的区间范围来计算出更小的范围区间，来获得更快的查询速度并减少资源利用。
debezium支持的数据库
03-01
Debezium是一个开源的分布式平台，用于捕获和发布数据库的更改事件。它支持多种数据库，包括： 1. MySQL：Debezium可以监控MySQL数据库的更改事件，并将其作为事件流进行发布。它可以捕获表结构的更改、插入、更新和删除操作，并将其转换为易于消费的事件。 2. PostgreSQL：Debezium可以监控PostgreSQL数据库的更改事件，并将其作为事件流进行发布。它支持逻辑复制和物理复制模式，并可以捕获表结构的更改、插入、更新和删除操作。 3. MongoDB：Debezium可以监控MongoDB数据库的更改事件，并将其作为事件流进行发布。它可以捕获集合的插入、更新和删除操作，并提供了与MongoDB的复制机制集成。 4. SQL Server：Debezium可以监控SQL Server数据库的更改事件，并将其作为事件流进行发布。它可以捕获表结构的更改、插入、更新和删除操作，并提供了与SQL Server的复制机制集成。 5. Oracle：Debezium可以监控Oracle数据库的更改事件，并将其作为事件流进行发布。它可以捕获表结构的更改、插入、更新和删除操作，并提供了与Oracle的复制机制集成。 6. Apache Cassandra：Debezium可以监控Apache Cassandra数据库的更改事件，并将其作为事件流进行发布。它可以捕获表结构的更改、插入、更新和删除操作，并提供了与Cassandra的复制机制集成。 以上是Debezium支持的一些常见数据库，它们都可以通过Debezium来实时捕获和发布数据库的更改事件。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值