Debezium 从oracle抓取数据到kafka

最新推荐文章于 2024-09-23 15:55:21 发布
最新推荐文章于 2024-09-23 15:55:21 发布
阅读量3.7k 收藏 27
点赞数 6
文章标签： kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40548182/article/details/117956341
版权

环境

操作系统版本

[root@localhost kafka_2.13-2.8.0]# cat /etc/redhat-release 
CentOS Linux release 7.5.1804 (Core) 
[root@localhost kafka_2.13-2.8.0]# uname -r
3.10.0-862.el7.x86_64

glibc版本

[root@localhost kafka_2.13-2.8.0]# rpm -qa|grep glibc
glibc-common-2.17-222.el7.x86_64
glibc-2.17-222.el7.x86_64

kafka版本

kafka_2.13-2.8.0

配置zookeeper

10.0.2.18节点配置

[root@localhost kafka_2.13-2.8.0]# cat /opt/kafka_2.13-2.8.0/config/zookeeper.properties
# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements.  See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License.  You may obtain a copy of the License at
# 
#    http://www.apache.org/licenses/LICENSE-2.0
# 
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
# the directory where the snapshot is stored.
dataDir=/tmp/zookeeper
# the port at which the clients will connect
clientPort=2181
# disable the per-ip limit on the number of connections since this is a non-production config
maxClientCnxns=0
# Disable the adminserver by default to avoid port conflicts.
# Set the port to something non-conflicting if choosing to enable this
admin.enableServer=false
# admin.serverPort=8080
tickTime=2000
initLimit=5
syncLimit=2
server.1=10.0.2.20:2888:3888
server.2=10.0.2.18:2889:3889
server.3=10.0.2.19:2890:3890

echo "2" > /tmp/zookeeper/myid

10.0.2.19节点配置

[root@localhost kafka_2.13-2.8.0]# cat /opt/kafka_2.13-2.8.0/config/zookeeper.properties
# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements.  See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License.  You may obtain a copy of the License at
# 
#    http://www.apache.org/licenses/LICENSE-2.0
# 
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
# the directory where the snapshot is stored.
dataDir=/tmp/zookeeper
# the port at which the clients will connect
clientPort=2181
# disable the per-ip limit on the number of connections since this is a non-production config
maxClientCnxns=0
# Disable the adminserver by default to avoid port conflicts.
# Set the port to something non-conflicting if choosing to enable this
admin.enableServer=false
# admin.serverPort=8080
tickTime=2000
initLimit=5
syncLimit=2
server.1=10.0.2.20:2888:3888
server.2=10.0.2.18:2889:3889
server.3=10.0.2.19:2890:3890

echo "3" > /tmp/zookeeper/myid

10.0.2.20节点配置

[root@localhost kafka_2.13-2.8.0]# cat /opt/kafka_2.13-2.8.0/config/zookeeper.properties
censed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements.  See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License.  You may obtain a copy of the License at
# 
#    http://www.apache.org/licenses/LICENSE-2.0
# 
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
# the directory where the snapshot is stored.
dataDir=/tmp/zookeeper
# the port at which the clients will connect
clientPort=2181
# disable the per-ip limit on the number of connections since this is a non-production config
maxClientCnxns=0
# Disable the adminserver by default to avoid port conflicts.
# Set the port to something non-conflicting if choosing to enable this
admin.enableServer=false
# admin.serverPort=8080
tickTime=2000
initLimit=5
syncLimit=2
server.1=10.0.2.20:2888:3888
server.2=10.0.2.18:2889:3889
server.3=10.0.2.19:2890:3890

echo "1" > /tmp/zookeeper/myid

启动zookeeper集群

每个节点都执行

cd /opt/kafka_2.13-2.8.0
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

kafka配置

10.0.2.18节点配置

[root@localhost kafka_2.13-2.8.0]# cat /opt/kafka_2.13-2.8.0/config/server.properties
broker.id=2
listeners=PLAINTEXT://10.0.2.18:9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/tmp/kafka-logs
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1

log.retention.hours=168

log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=10.0.2.18:2181,10.0.2.19:2181,10.0.2.20:2181

zookeeper.connection.timeout.ms=18000

group.initial.rebalance.delay.ms=0
delete.topic.enable=true

10.0.2.19节点配置

[root@localhost kafka_2.13-2.8.0]# cat /opt/kafka_2.13-2.8.0/config/server.properties
broker.id=3
listeners=PLAINTEXT://10.0.2.18:9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/tmp/kafka-logs
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1

log.retention.hours=168

log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=10.0.2.18:2181,10.0.2.19:2181,10.0.2.20:2181

zookeeper.connection.timeout.ms=18000

group.initial.rebalance.delay.ms=0
delete.topic.enable=true

10.0.2.20节点配置

[root@localhost kafka_2.13-2.8.0]# cat /opt/kafka_2.13-2.8.0/config/server.properties
broker.id=1
listeners=PLAINTEXT://10.0.2.19:9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/tmp/kafka-logs
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1

log.retention.hours=168

log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=10.0.2.18:2181,10.0.2.19:2181,10.0.2.20:2181

zookeeper.connection.timeout.ms=18000

group.initial.rebalance.delay.ms=0
delete.topic.enable=true

启动kafka集群

所有节点都执行

cd /opt/kafka_2.13-2.8.0
bin/kafka-server-start.sh -daemon config/server.properties

debezium安装包准备

下载安装包

下载安装包如下

debezium-connector-oracle-1.6.0-20210616.001509-60-plugin.tar.gz
instantclient-basic-linux.x64-21.1.0.0.0.zip

下载debezium-connector-oracle
https://debezium.io/documentation/reference/install.html
在这里插入图片描述
下载instantclient
https://debezium.io/documentation/reference/install.html
在这里插入图片描述
跳转到下载页面
https://www.oracle.com/database/technologies/instant-client/downloads.html
在这里插入图片描述
在这里插入图片描述

解压安装包

在这里插入图片描述

复制jar包到对应目录

cp /opt/debezium-connector-oracle/*.jar /opt/kafka_2.13-2.8.0/libs/
cp /opt/instantclient_21_1/*.jar /opt/kafka_2.13-2.8.0/libs/

oracle配置

登录数据库

切换到oracle用户

su - oracle

切换到oralce安装目录
登录oracle数据库

sqlplus / as sysdba

开启归档日志

开启归档日志
需要在mount状态下开始数据库归档，重启至mount

SQL> shutdown immediate
//输出结果
Database closed.
Database dismounted.
ORACLE instance shut down.

SQL> startup mount
ORACLE instance started.

Total System Global Area 1603411968 bytes
Fixed Size            2213776 bytes
Variable Size          989857904 bytes
Database Buffers      603979776 bytes
Redo Buffers            7360512 bytes
Database mounted.

开启数据库归档

SQL> alter database archivelog;
//输出结果
Database altered.

查看归档结果

SQL> archive log list
//输出结果
Database log mode           Archive Mode
Automatic archival           Enabled
Archive destination           /u01/app/oracle/archive_log
Oldest online log sequence     244
Next log sequence to archive   246
Current log sequence           246

开启自动归档

alter system archive log start;

开启强制归档

ALTER DATABASE FORCE LOGGING;

打开数据库

SQL> alter database open;

Database altered.

确认数据库为归档模式

SQL> select log_mode from v$database;

LOG_MODE
------------------------------------
ARCHIVELOG

SQL> select archiver from v$instance;

ARCHIVER
---------------------
STARTED

开启补充日志

开启最小字段补充日志

SQL> alter database add supplemental log data ;
 
Database altered.

开启全体字段补充日志

SQL> alter database add supplemental log data (all) columns; 
 
Database altered.

确认是否开启

select SUPPLEMENTAL_LOG_DATA_MIN min,
       SUPPLEMENTAL_LOG_DATA_PK  pk,
       SUPPLEMENTAL_LOG_DATA_UI  ui,
       SUPPLEMENTAL_LOG_DATA_FK  fk,
       SUPPLEMENTAL_LOG_DATA_ALL "all"
  6  from v$database;

MIN			 PK	   UI	     FK        all
------------------------ --------- --------- --------- ---------
YES			 NO	   NO	     NO        YES

创建debezium相关用户并授权

CREATE USER c DEFAULT TABLESPACE logminer_tbs QUOTA UNLIMITED ON logminer_tbs；
GRANT CREATE SESSION TO c;
GRANT SET CONTAINER TO c;
GRANT SELECT ON V_$DATABASE to c;
GRANT FLASHBACK ANY TABLE TO c;
GRANT SELECT ANY TABLE TO c;
GRANT SELECT_CATALOG_ROLE TO c;
GRANT EXECUTE_CATALOG_ROLE TO c;
GRANT SELECT ANY TRANSACTION TO c;
GRANT LOGMINING TO c;


GRANT CREATE TABLE TO c;
GRANT LOCK ANY TABLE TO c;
GRANT ALTER ANY TABLE TO c;
GRANT CREATE SEQUENCE TO c;

GRANT EXECUTE ON DBMS_LOGMNR TO c;
GRANT EXECUTE ON DBMS_LOGMNR_D TO c;

GRANT SELECT ON V_$LOG TO c;
GRANT SELECT ON V_$LOG_HISTORY TO c;
GRANT SELECT ON V_$LOGMNR_LOGS TO c;
GRANT SELECT ON V_$LOGMNR_CONTENTS TO c;
GRANT SELECT ON V_$LOGMNR_PARAMETERS TO c;
GRANT SELECT ON V_$LOGFILE TO c;
GRANT SELECT ON V_$ARCHIVED_LOG TO c;
GRANT SELECT ON V_$ARCHIVE_DEST_STATUS TO c;

配置kafka-connect

说明：kafka-connect按照分布式方式配置。

cd /opt/kafka_2.13-2.8.0

10.0.2.18节点配置

cat config/connect-distributed.properties
bootstrap.servers=10.0.2.18:9092,10.0.2.19:9092,10.0.2.20:9092
group.id=connect-cluster
#group.id=1
key.converter=org.apache.kafka.connect.json.JsonConverter
value.converter=org.apache.kafka.connect.json.JsonConverter
key.converter.schemas.enable=false
value.converter.schemas.enable=false

internal.key.converter=org.apache.kafka.connect.json.JsonConverter
internal.value.converter=org.apache.kafka.connect.json.JsonConverter
internal.key.converter.schemas.enable=false
internal.value.converter.schemas.enable=false


offset.storage.topic=connect-offsets
offset.storage.replication.factor=3
offset.storage.partitions=3

config.storage.topic=connect-configs
config.storage.replication.factor=3

status.storage.topic=connect-status
status.storage.replication.factor=3

offset.flush.interval.ms=10000
rest.advertised.host.name=10.0.2.18
#rest.advertised.port=8083

offset.storage.file.filename=/tmp/connect.offsets
plugin.path=/opt/debezium-connector-oracle/

10.0.2.19节点配置

cat config/connect-distributed.properties
bootstrap.servers=10.0.2.18:9092,10.0.2.19:9092,10.0.2.20:9092
group.id=connect-cluster
#group.id=1
key.converter=org.apache.kafka.connect.json.JsonConverter
value.converter=org.apache.kafka.connect.json.JsonConverter
key.converter.schemas.enable=false
value.converter.schemas.enable=false

internal.key.converter=org.apache.kafka.connect.json.JsonConverter
internal.value.converter=org.apache.kafka.connect.json.JsonConverter
internal.key.converter.schemas.enable=false
internal.value.converter.schemas.enable=false


offset.storage.topic=connect-offsets
offset.storage.replication.factor=3
offset.storage.partitions=3

config.storage.topic=connect-configs
config.storage.replication.factor=3

status.storage.topic=connect-status
status.storage.replication.factor=3

offset.flush.interval.ms=10000
rest.advertised.host.name=10.0.2.19
#rest.advertised.port=8083

offset.storage.file.filename=/tmp/connect.offsets
plugin.path=/opt/debezium-connector-oracle/

10.0.2.20节点配置

cat config/connect-distributed.properties
bootstrap.servers=10.0.2.18:9092,10.0.2.19:9092,10.0.2.20:9092
group.id=connect-cluster
#group.id=1
key.converter=org.apache.kafka.connect.json.JsonConverter
value.converter=org.apache.kafka.connect.json.JsonConverter
key.converter.schemas.enable=false
value.converter.schemas.enable=false

internal.key.converter=org.apache.kafka.connect.json.JsonConverter
internal.value.converter=org.apache.kafka.connect.json.JsonConverter
internal.key.converter.schemas.enable=false
internal.value.converter.schemas.enable=false


offset.storage.topic=connect-offsets
offset.storage.replication.factor=3
offset.storage.partitions=3

config.storage.topic=connect-configs
config.storage.replication.factor=3

status.storage.topic=connect-status
status.storage.replication.factor=3

offset.flush.interval.ms=10000
rest.advertised.host.name=10.0.2.20
#rest.advertised.port=8083

offset.storage.file.filename=/tmp/connect.offsets
plugin.path=/opt/debezium-connector-oracle/

创建启动必须topic

bin/kafka-topics.sh --create --zookeeper 10.0.2.18:2181 --topic connect-configs --replication-factor 3 --partitions 1 --config cleanup.policy=compact
bin/kafka-topics.sh --create --zookeeper 10.0.2.19:2181 --topic connect-offsets --replication-factor 3 --partitions 50 --config cleanup.policy=compact
bin/kafka-topics.sh --create --zookeeper localhost:2181 --topic connect-status --replication-factor 3 --partitions 10 --config cleanup.policy=compact

启动kafka-connect

在每个节点都执行

cd /opt/kafka_2.13-2.8.0
bin/connect-distributed.sh config/connect-distributed.properties

创建连接器

curl -X POST http://localhost:8083/connectors -H "Content-Type: application/json" -d '{
"name": "inventory-connector",
"config": {
"connector.class" : "io.debezium.connector.oracle.OracleConnector",
"tasks.max" : "1",
"database.server.name" : "server1",
"database.hostname" : "10.0.2.15",
"database.port" : "1521",
"database.user" : "c",
"database.password" : "dbz",
"database.dbname" : "ORCL",
"database.history.kafka.bootstrap.servers" : "10.0.2.20:9092,10.0.2.18:9092,10.0.2.19:9092",
"database.history.kafka.topic": "schema-changes.inventory"
}
}'

查看连接器

[root@localhost kafka_2.13-2.8.0]# curl -s localhost:8083/connectors|jq
[
  "inventory-connector"
]

查看连接器详细信息

[root@localhost kafka_2.13-2.8.0]# curl -s localhost:8083/connectors/inventory-connector|jq
{
  "name": "inventory-connector",
  "config": {
    "connector.class": "io.debezium.connector.oracle.OracleConnector",
    "database.user": "c",
    "database.dbname": "ORCL",
    "tasks.max": "1",
    "database.hostname": "10.0.2.15",
    "database.password": "dbz",
    "database.history.kafka.bootstrap.servers": "10.0.2.20:9092,10.0.2.18:9092,10.0.2.19:9092",
    "database.history.kafka.topic": "schema-changes.inventory",
    "name": "inventory-connector",
    "database.server.name": "server1",
    "database.port": "1521"
  },
  "tasks": [
    {
      "connector": "inventory-connector",
      "task": 0
    }
  ],
  "type": "source"
}

查看连接器状态

[root@localhost kafka_2.13-2.8.0]# curl -s localhost:8083/connectors/inventory-connector/status|jq
{
  "name": "inventory-connector",
  "connector": {
    "state": "RUNNING",
    "worker_id": "127.0.0.1:8083"
  },
  "tasks": [
    {
      "id": 0,
      "state": "RUNNING",
      "worker_id": "127.0.0.1:8083"
    }
  ],
  "type": "source"
}

验证是否生成topic

在这里插入图片描述

验证数据同步

查看oracle表中数据

SQL> conn test/test;
Connected.
SQL> select * from student;
0 rows selected.

查看kafka对应的topic中的数据

bin/kafka-console-consumer.sh --bootstrap-server 10.0.2.20:9092 --topic server1.TEST.STUDENT --from-beginning

在这里插入图片描述

验证乱序插入数据是否可以同步

oracle表中插入数据

SQL> insert into student(sno,sname,ssex,sbirthday,sclass) values(108,'曾华','男',to_date('1977-09-01','yyyy-mm-dd'),95033);

1 row created.

SQL> commit;

Commit complete.
SQL> insert into student(sno,sname,ssex,sbirthday,sclass) values(105,'匡明','男',to_date('1975-10-02','yyyy-mm-dd'),95031);

1 row created.

SQL> commit;

Commit complete.

SQL> insert into student(sno,sname,ssex,sbirthday,sclass) values(107,'王丽','女',to_date('1976-01-23','yyyy-mm-dd'),95033);

1 row created.

SQL> commit;

Commit complete.

SQL> insert into student(sno,sname,ssex,sbirthday,sclass) values(109,'王芳','女',to_date('1975-02-10','yyyy-mm-dd'),95031);

1 row created.

SQL> commit;

Commit complete.

SQL> select * from student; 

       SNO SNAME		       SSEX	 SBIRTHDAY	 SCLASS
---------- --------------------------- --------- --------------- ---------------
       108 曾华                        男        01-SEP-77       95033
       105 匡明                        男        02-OCT-75       95031
       107 王丽                        女        23-JAN-76       95033
       109 王芳                        女        10-FEB-75       95031

验证数据是否同步
在这里插入图片描述

验证update更改数据是否同步

SQL> UPDATE student SET SNAME='UPDATE' WHERE SNO='108';

1 row updated.

SQL> commit;

Commit complete.

SQL> select * from student; 

       SNO SNAME		       SSEX	 SBIRTHDAY	 SCLASS
---------- --------------------------- --------- --------------- ---------------
       108 UPDATE                      男        01-SEP-77       95033
       105 匡明                        男        02-OCT-75       95031
       107 王丽                        女        23-JAN-76       95033
       109 王芳                        女        10-FEB-75       95031

验证更改是否同步
在这里插入图片描述

验证delete更改数据是否同步

SQL> DELETE FROM student WHERE SNO='105';

1 row deleted.

SQL> commit;

Commit complete.

SQL> select * from student; 

       SNO SNAME		       SSEX	 SBIRTHDAY	 SCLASS
---------- --------------------------- --------- --------------- ---------------
       108 UPDATE                      男        01-SEP-77       95033
       107 王丽                        女        23-JAN-76       95033
       109 王芳                        女        10-FEB-75       95031

验证更改是否同步
在这里插入图片描述
验证alter增加字段是否同步

SQL> ALTER TABLE student ADD (age integer default 22 not null);

Table altered.

SQL> commit;

Commit complete.
SQL> select * from student;

       SNO SNAME		       SSEX	 SBIRTHDAY	 SCLASS
---------- --------------------------- --------- --------------- ---------------
       AGE
----------
       108 UPDATE                      男        01-SEP-77       95033
	22

       107 王丽                        女        23-JAN-76       95033
	22

       109 王芳                        女        10-FEB-75       95031
	22

kafka-connect报错
在这里插入图片描述
验证更改是否同步
在这里插入图片描述

报错处理

连接器报错

在这里插入图片描述

解决

1、按照提示，执行命令，打开报错的表的全体字段补充日志

SQL>  ALTER TABLE TEST_OGG.TEST_OGG ADD SUPPLEMENTAL LOG DATA (ALL) COLUMNS;

Table altered.

2、直接打开全体字段补充日志

SQL> alter database add supplemental log data (all) columns; 

Database altered.

select SUPPLEMENTAL_LOG_DATA_MIN min,
       SUPPLEMENTAL_LOG_DATA_PK  pk,
       SUPPLEMENTAL_LOG_DATA_UI  ui,
       SUPPLEMENTAL_LOG_DATA_FK  fk,
       SUPPLEMENTAL_LOG_DATA_ALL "all"
from v$database;
MIN			 PK	   UI	     FK        all
------------------------ --------- --------- --------- ---------
YES			 NO	   NO	     NO        YES

不能加载插件错误

在这里插入图片描述

解决

debezium-connector-oracle下的jar包复制到kafka的libs目录下
cp /opt/debezium-connector-oracle/* /opt/kafka_2.13-2.8.0/libs/

时空无限
关注
Debezium同步之oracle数据到Kafka的同步
Auspicious航的博客
04-12 1397
目录 一、概述 二、设置oracle 2.1 与 Oracle 安装类型的兼容性 2.2 准备数据库 2.3 重做日志大小 2.4 为连接器创建用户 2.5 备用数据库 2.6 故障转移数据库 三、部署 3.1 Debezium Oracle 连接器配置 3.2 可插拔与不可插拔数据库 3.3 添加连接器配置 一、概述 Debezium 的 Oracle 连接器捕获并记录发生在 Oracle 服务器上的数据库中的行级更改，包括在连接器运行...
Debezium同步之监控Oracle
Auspicious航的博客
04-18 531
Debezium提供了两种监控数据库的方式，对应了oracle的两种连接方式。
Debezium
最新发布
Mamba Out
09-23 688
允许用户实时地从数据库中捕捉到数据的变化（如插入、更新和删除操作），并将这些变化以结构化的数据流的形式提供给其他系统进行处理和分析。在这种情况下，Debezium不会通过Kafka Connect运行，而是作为一个嵌入到定制Java应用程序中的库运行。以插件的形式，部署在 Kafka Connect 上，在上图中，中间的部分是 Kafka Broker，而 Kafka Connect 是单独的服务，需要下载 debezium-connector-mysql 连接器，解压到。
springboot整合Debezium监控Oracle数据库
weixin_41085114的博客
10-17 1421
debezium
oracle Debezium
杨晓尚
10-20 3086
Debezium是什么 Debezium是一个开源项目，为捕获数据更改(change data capture,CDC)提供了一个低延迟的流式处理平台。你可以安装并且配置Debezium去监控你的数据库，然后你的应用就可以消费对数据库的每一个行级别(row-level)的更改。只有已提交的更改才是可见的，所以你的应用不用担心事务(transaction)或者更改被回滚(roll back)。 Debezium连接oracle方式 Debezium提供了两种监控数据库的方式，对应了oracle的两种连接方式。
基于 Kafka 与 Debezium 构建实时数据同步
wenyusuran的专栏
09-09 3496
起源 在进行架构转型与分库分表之前，我们一直采用非常典型的单体应用架构：主服务是一个 Java WebApp，使用 Nginx 并选择 Session Sticky 分发策略做负载均衡和会话保持；背后是一个 MySQL 主实例，接了若干 Slave 做读写分离。在整个转型开始之前，我们就知道这会是一块难啃的硬骨头：我们要在全线业务飞速地扩张迭代的同时完成架构转型，因为这是实实在在的”给高速行驶的汽车换轮胎”。 为了最大限度地减少服务拆分与分库分表给业务带来的影响（不影响业务开发也是架构转型的前提），我们
使用Debezium构建实时数据管道
# 第一章：理解实时数据管道 ## 1.1 什么是实时数据管道 ...首先我们需要进行一些准备工作，包括安装和配置Debezium，然后我们将介绍如何使用Debezium连接到数据库，并配置数据变化的抓取。 #### 3
Debezium系列之：记录源库表增加字段，debezium采集的数据丢失新增字段的原因和相对应的解决方法
zhengzaifeidelushang的博客
06-10 1150
Debezium系列之：记录源库表增加字段，debezium采集的数据丢失新增字段的原因和相对应的解决方法
数据集成技术概述-常见的CDC方案比对
数字化时代下，新IT人的转型之路
03-19 7852
导读 数据集成的概念，与主要挑战。 CDC技术详解：概念、主流解决方案、以及两个技术流派。 实时增量数据集成的主要开源技术：canal、maxwell、Debezium、FlinkCDC、FlinkX的主要特点，并详细介绍了canal的架构。 离线数据集成的主要开源技术：Sqoop、DataX。 数据集成 企业信息化建设中，有一个板块是企业应用集成，根据集成深度的不同，可以分为界面集成、数据集成、控制集成、业务流程集成。其中界面集成是指统一入口，使分散的系统..
1、数据同步方案设计
02-10 1255
包括七大部分内容： 一. 传统的数据同步方案及存在的问题 二、大数据时代数据同步方案及存在的问题 三、基于日志同步的优秀开源产品有哪些 四、各大同步开源框架比较 五、为什么需要MQ中间件 六、MQ中间件常用比较 七、最终同步方案选型
flink-connector-debezium:此项目主要应用于数据中台或数据平台的数据总线，支持直接实时监听MySQL、MongoDB、PostgreSQL、Oracle、SQL Server、Db2和Cassandra等数据库的数据变更
05-31
Flink-connector-debezium 基于Red Hat开源的Debezium组件，和Flink结合，实现在Flink上直接监听各种数据库的Change Log，并且能够利用Flink的特性，输出到不同的位置上，以实现数据总线和实时数仓的构建。此项目主要应用于数据中台或数据平台中数据总线的基础底座。 目前Debezium支持了MySQL、MongoDB、PostgreSQL、Oracle、SQL Server、Db2和Cassandra。理论上此连接器也支援以上所有数据库。 Getting Started mvn clean package -DskipTests example 参考DebeziumSourceITCase
Debezium系列之：Debezium技术专栏第300篇系列文章之打通Debezium实时采集Oracle数据库数据到Kafka集群的技术
zhengzaifeidelushang的博客
04-24 291
Debezium系列之：Debezium技术专栏第300篇系列文章之打通Debezium实时采集Oracle数据库数据到Kafka集群的技术
Debezium分享系列之：部署Debezium采集Oracle数据库的详细步骤
zhengzaifeidelushang的博客
04-17 557
通常，可以通过提交指定连接器配置属性的 JSON 请求来注册 Debezium Oracle 连接器。但是，在更复杂的 Oracle 部署中或在使用透明网络底层 (TNS) 名称的部署中，可以使用指定 JDBC URL 的替代方法。要部署 Debezium Oracle 连接器，需要安装 Debezium Oracle 连接器、配置连接器，然后通过将其配置添加到 Kafka Connect 来启动连接器。示例：使用 JDBC URL 连接到数据库的 Debezium Oracle 连接器配置。
Debezium实时抽取oracle 19c数据到kafka
m0_59595182的博客
06-25 952
"table.include.list": "BCM.CUST_CORP_INFO,BCM.CR_FAREP_MANAGE_CHILD,BCM.CR_FAREP_MANAGE_MAIN", //要抽取的表。"database.history.kafka.bootstrap.servers" : "xx.xx.xx.xx:9092", //生成的topic放到哪个kakfa中。"database.history.skip.unparseable.ddl":"true", //跳过ddl语句。
Debezium 抽取oracle数据
水彩橘子
09-07 2251
1、环境介绍 操作系统：centos 7.9 jdk版本：11.0.12 kafka版本：2.8.0 Debezium版本：1.6（debezium-connector-oracle-1.6.1.Final-plugin.tar.gz） oracle版本：19c 2、安装oracle https://blog.csdn.net/zyj81092211/article/details/120082828 3、设置oracle (1)创建目录 mkdir /u01/app/oracle/oradata/reco
ORACLE LOGMINER DEBEZIUM
大蚊子
04-07 864
debezium 查询v$LOGMNR_CONTENTS时，添加了一些过滤条件，例如表、SCN、OPERATION_CODE等。debezium 源码相关logminer。4、操作数据库blablabla.....1、构建数据字典,（可跳过）logminer 捕获流程。附录： debezium。3、启动logminer。3、启动logminer。
二、Debezium环境搭建(1) -oracle
al229的博客
05-04 1272
一：Debezium介绍（当前文章） 三：Debezium环境搭建(2) -kafka相关 (待发表，预计5-15之前) 下载和安装参考官方文档，版本19c ：Database Software Downloads | Oracle 中国 debezium支持参见官方文档：https://debezium.io/documentation/reference/1.8/connectors/oracle.html ...
基于debezium实时数据同步（Oracle为主）
吃素的哈士奇de博客
09-03 4344
基于debezium实时数据同步全部需要下载的内容链接1、下载zookeeper-3.4.102、下载kafka_2.13-2.8.03、下载Kafka Connector：建议使用1.6以上版本可以对ddl进行捕获4、安装debezium-connector-oracle4.1下载debezium-connector-oracle-1.6.0.Final-plugin.tar.gz并解压，安装在自己的服务器，我的安装目录是/home/debezium/4.2、将debezium-connector-ora
Debezium日常分享系列之：Oracle数据库系列文章之安装和设置
zhengzaifeidelushang的博客
07-09 1087
Debezium系列之：Oracle数据库系列文章之安装和设置
评论 11
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

时空无限

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值