al229
这个作者很懒,什么都没留下…
展开
-
七:Debezium本地环境搭建(2)-本地启动和调试
在启动Debezium之前,首先我们要尝试理解Debezium的运行原理,Debezium本身的代码就是一个work,如果你使用过MapReduce或者 xxjob,为了便于理解,虽然不准确,你可以理解就是其中的一个任务, Debezium是基于kafka connector 上的作业,所以需要继续kafka connect来运行。Kafka Connect 专门用于将数据复制进和复制出 Kafka。概括地说,连接器是一项管理任务及其配置的作业。原创 2023-04-25 10:29:20 · 578 阅读 · 0 评论 -
六:Debezium本地环境搭建(1)-代码编译
这里需要手动导入两个jar包,oracle的驱动包和xstreams包,因为非开源,这里就不附了,请到oracle官网下载。debezium-build-parent 这个工程,可以注释掉该工程下pom不相关的工程,可以参考注释以下工程。编译成功即完成代码编译部分的工作,下一节讲下怎样启动本地代码,以便于debug跟踪。这里如果全部编译,可能编译不成功,因此,本次只编译oracle和基础包。切换到对应的代码分支,本次使用的是 v 1.8.1.final。待编译成功后,单独编译。原创 2023-04-20 14:34:24 · 582 阅读 · 0 评论 -
五:Debezium测试 DML篇
其中 $1变量,取的是:database.server.name这个变量 也就是ddl的topic名称,如果不生效可以指定固定的。这个$2 代表 schema名称,可以用变量,也可直接用C__TEST,此处就是简单的正则,变量未经验证。》,只是将其中的create预计改为DML语句即可。$1.${schema}.${表名}删除kafka-connect任务。原创 2023-04-19 16:42:16 · 290 阅读 · 0 评论 -
四、Debezium测试 DDL篇
打开postman或者其他远程http测试工具调用注册地址:kafka-connect默认端口8083,这里的地址是kafka-connect服务启动所在的地址http://127.0.0.1:8083/connectors 参数:"database.server.name" :这里的命名会在kafka中生成对应的topic,该topic里面存储的是ddl解析结果, 重新注册时,该topic需要变更名称或在kafka删除原有的topicname:连接器的名称,删除的时候会用到"schema.incl原创 2022-07-05 16:49:13 · 794 阅读 · 1 评论 -
三、Debezium环境搭建(2) -kafka相关
kafa环境的搭建,分为两大部分:1. 依次启动zookeeper,kafka和kafka connector本次文档使用的kafka版本为:2.12kafka下载地址:https://archive.apache.org/dist/kafka/2.4.0/kafka_2.12-2.4.0.tgz下载完成后,将kafka上传至 linux服务器使用 tar -zxvf kafka_2.12-2.4.0.tgz 解压,完成进入解压后的主目录(1)配置插件地址创建一个目录,并给予ka原创 2022-05-14 22:25:18 · 645 阅读 · 0 评论 -
二、Debezium环境搭建(1) -oracle
一:Debezium介绍(当前文章)三:Debezium环境搭建(2) -kafka相关 (待发表,预计5-15之前)下载和安装参考官方文档,版本19c :Database Software Downloads | Oracle 中国debezium支持参见官方文档:https://debezium.io/documentation/reference/1.8/connectors/oracle.html...原创 2022-05-04 22:32:49 · 1267 阅读 · 0 评论 -
一、Debezium介绍
Debezium 是一个用于变更数据捕获的开源分布式平台。启动它,将其指向您的数据库,您的应用程序可以开始响应其他应用程序提交到您的数据库的所有插入、更新和删除操作。Debezium 耐用且快速,因此您的应用程序可以快速响应并且不会错过任何事件,即使出现问题。上面是官方介绍,我用翻译软件直接翻译的,简单来说,这个开源项目就是可以监控到数据库的变化,包括DDL和DML变更,当然目前DDL的变更仅支持做基本的解析,例如分区表,外键,约束等均不支持,但是你可以进行扩展开发。.........原创 2022-04-22 15:13:39 · 1184 阅读 · 0 评论