debezium
文章平均质量分 53
debezium
不想做咸鱼的王富贵
到底是活了一年,还是356个一天。
——选自散文集《我在人间凑数的日子》
展开
-
canal 同步mysql的数据到 clickhouse
mysql数据迁移基于库同步CREATE DATABASE saic_iov_user ON CLUSTER defaultENGINE = MySQL('10.188.49.10:3306', 'saic_iov_user','iov_user', 'ENC(Mzg2MTE4ODgAYO6BQozrsqT8Gc+MwKN3)'); CREATE DATABASE saic_iov_merge ON CLUSTER defaultENGINE = MySQL('10.188.49.10:33原创 2022-04-24 17:53:57 · 2026 阅读 · 0 评论 -
Debezium同步多个表投递到一个Topic
Debezium同步多个表投递到一个TopicDebezium 是否支持同步 多个表投递到一张topic?答 : 支持验证如下:官方说明: https://debezium.io/documentation/reference/1.5/configuration/topic-routing.html数据库db如下配置如下{ "name":"10.90.81.121-canalA", "config":{ "connector.class":"io.deb原创 2021-08-10 16:23:53 · 2112 阅读 · 8 评论 -
debezium topic 生成规则
debezium topic 生成规则topic 有一定的 生成规则 前缀.db名.表名 如( “database.server.name”:“uat”) uat.db名.表名// 最终生成的某张表的kafka topic为:(database.server.name).数据库名.表名{ "name":"debezium-test-5017", // 连接器名称 "config":{ // 连接器配置 "connector.class":"io原创 2021-07-23 13:42:08 · 979 阅读 · 0 评论 -
Debezium 简介
Debezium 简介Debezium 是一个分布式平台,可将您现有的数据库转换为事件流,因此应用程序可以查看并立即响应数据库中的每个行级更改。Debezium 构建在Apache Kafka之上,并提供与Kafka Connect兼容的连接器,用于监控特定的数据库管理系统。Debezium 在 Kafka 日志中记录数据更改的历史记录,从您的应用程序使用它们的位置。这使您的应用程序可以轻松正确且完整地使用所有事件。即使您的应用程序意外停止,它也不会错过任何内容:当应用程序重新启动时,它将继续使用它停止原创 2021-07-21 09:47:29 · 15161 阅读 · 0 评论 -
Debezium同步MySQL变更到kafka
Debezium同步MySQL变更到kafka前期准备: 完成 Kafka Connect Source和MySQL集成官网: https://debezium.io/documentation/reference/1.5/install.htmlmysql官网教程:https://debezium.io/documentation/reference/1.5/connectors/mysql.htmlKafka Connect教程api首先我们要知道rest服务提供了一些API去操作conne原创 2021-07-21 09:57:36 · 1108 阅读 · 0 评论 -
必需的 Debezium MySQL 连接器配置属性
必需的 Debezium MySQL 连接器配置属性官网地址: https://debezium.io/documentation/reference/1.5/connectors/mysql.htmlname连接器的唯一名称。尝试使用相同名称再次注册失败。所有 Kafka Connect 连接器都需要此属性。connector.class连接器的 Java 类的名称。始终io.debezium.connector.mysql.MySqlConnector为 MySQL 连接器指定 。tasks原创 2021-07-21 10:05:26 · 4470 阅读 · 2 评论 -
canal采集mysql 数据到kafka
canal采集mysql 数据到kafkacanal单机版安装1、数据库配置首先使用canal需要修改数据库配置sudo vim /etc/my.cnf开启 binlog[mysqld]log-bin=mysql-bin # 开启 binlogbinlog-format=ROW # 选择 ROW 模式server_id=1 # 配置 MySQL replaction 需要定义,不要和 canal 的 slaveId 重复创建canal数据库用户CREATE USER canal I原创 2021-07-21 10:21:41 · 464 阅读 · 0 评论 -
canal 投递 数据 只进kafka 0分区
canal 投递 数据 只进kafka 0分区首先要确保其余kafka 有多个分区在 instance.properties 加入以下配置即可 二者缺一不可下面一段摘至官网:mq顺序性问题1.canal目前选择支持的kafka/rocketmq,本质上都是基于本地文件的方式来支持了分区级的顺序消息的能力,也就是binlog写入mq是可以有一些顺序性保障,这个取决于用户的一些参数选择2.canal支持MQ数据的几种路由方式:单topic单分区,单topic多分区、多topic单分区、多topi原创 2021-07-21 10:23:19 · 673 阅读 · 1 评论 -
Canal配置文件详解
Canal配置文件详解conf\example\instance.properties## mysql serverId , v1.0.26+ will autoGen# canal.instance.mysql.slaveId=0 //每个instance都会伪装成一个mysql slave , 此id对于canal前端的Mysql实例而言,必须是唯一的,但是同一个Canal中相同的instance,此slaveld应该一样# enable gtid use true/falsecanal.i原创 2021-07-21 10:27:05 · 2178 阅读 · 0 评论 -
安装canal-admin管理界面
安装canal-admin管理界面1.1 下载安装包https://github.com/alibaba/canal/releases/tag/canal-1.1.41.2 解压缩tar -zxvf canal.admin-1.1.4.tar.gz -C /opt/apps/ecm/service/canal-admin/1.3 修改配置文件 conf/application.ymlserver:port: 8089spring:jackson:date-format: yyyy-MM原创 2021-07-21 10:29:54 · 1020 阅读 · 0 评论 -
Canal Kafka RocketMQ QuickStart
Canal Kafka RocketMQ QuickStart基本说明canal 1.1.1版本之后, 默认支持将canal server接收到的binlog数据直接投递到MQ, 目前默认支持的MQ系统有:kafka: https://github.com/apache/kafkaRocketMQ : https://github.com/apache/rocketmq一、 安装zookeeper参考:Zookeeper QuickStart二、安装MQKafka安装参考:Kafka Qui原创 2021-07-21 10:39:30 · 242 阅读 · 0 评论 -
阿里开源Canal--简介
阿里开源Canal–简介1 什么是canalcanal是用java开发的基于数据库增量日志解析,提供增量数据订阅&消费的中间件。目前,canal主要支持了MySQL的binlog解析,解析完成后才利用canal client 用来处理获得的相关数据。(数据库同步需要阿里的otter中间件,基于canal)官网:https://github.com/alibaba/canal背景早期,阿里巴巴B2B公司因为存在杭州和美国双机房部署,存在跨机房同步的业务需求。不过早期的数据库同步业务,主要是原创 2021-07-21 10:41:52 · 2173 阅读 · 0 评论 -
Oracle开启归档日志功能详细步骤
Oracle开启归档日志功能详细步骤Oracle开启归档日志功能详细步骤1.查看oracle归档状态SQL> archive log list;数据库日志模式 非存档模式 //目前不是归档模式自动存档 禁用存档终点 USE_DB_RECOVERY_FILE_DEST最早的联机日志序列 27711当前日志序列 277132.关闭数据库SQL> shutdown immediate;3.启动数据库至mount状态SQL> startup mount;ORACLE原创 2021-07-21 10:46:18 · 2041 阅读 · 0 评论 -
Ogg 支持一张表投递多个topic
Ogg 支持一张表投递多个topic验证如下cd /service/ogg进入 ogg采集目录然后使用 ./ggsci 命令进入 ogg 命令行采集进程配置 采集进程edit param extpextract extpsetenv (nls_lang="american_america.ZHS16GBK")userid oggadmin@pacs, password root1234reportcount every 30 minutes, ratediscardfile /s原创 2021-07-22 09:23:33 · 636 阅读 · 2 评论 -
oracle goldgate 安装配置-单机版(ogg)
oracle goldgate 安装配置-单机版(ogg)准备 OGG 配置分两部分,源端与目标端两部分,安装文件不一致,需注意! 环境: centos7 2台 1. 源端安装oracle 这里不做配置,请查看 Oracle单机版安装部署 2. 目标端安装kafka源端 1. 开启oracle 归档日志 ,使用dba登录查询是否是归档模式 LOG_MODE= ARCHIVELOG | NOARCHIVELOG NOARCHIVELOG 代表非归原创 2021-07-22 09:23:50 · 509 阅读 · 0 评论 -
ogg 运维命令
ogg 运维命令--管理进程命令INFO MANAGER 返回有关管理器端口和进程id的信息。START MANAGER 开启管理进程STATUS MANAGER 返回管理进程状态STOP MANAGER 停止管理进程--采集进程命令ADD EXTRACT 添加一个采集组ALTER EXTRACT 更改采集组的属性CL原创 2021-07-22 09:24:22 · 510 阅读 · 0 评论 -
投递进程重推数据
投递进程重推数据进入ogg安装主机10.41.8.42找到相对应的投递进程在采集端 /dirdat文件中,找到重推时间前的trail文件标号停止投递进程 stop xxxx重新设置采集点 alter 进程名 extseqno 1726,extrba 0extseqno : trail文件序号extrba : 文件内的偏移量开始投递进程 start xxxx NOFILTERDUPTRANSACTIONS...原创 2021-07-22 09:24:46 · 546 阅读 · 0 评论