canal
文章平均质量分 54
肉装法师
读书人的事能算偷
展开
-
canal匹配两类前缀相同表放入不同kafka topic中
需求描述:有两类表tbl_ec_document_xxx(tbl_ec_document_11 tbl_ec_document_12 tbl_ec_document_xbk…)tbl_ec_document_item_xxx(tbl_ec_document_item_11 tbl_ec_document_item_12 tbl_ec_document_item_xbk…)普通perl正则可使用如下分别匹配含有item 和不含有item的所有表^tbl_ec_document.((?!(item))原创 2022-02-15 15:36:08 · 1284 阅读 · 0 评论 -
canal Failed to update metadata after 60000 ms 等问题解决
Failed to update metadata after 60000 mscom.alibaba.fastsql.sql.parser.ParserException: syntax error, error in : 'cur ;UNKNOWN_TOPIC_OR_PARTITIONINVALID_TOPIC_EXCE原创 2022-02-08 15:47:56 · 6690 阅读 · 0 评论 -
使用canal将mysql数据导入kafka
canal原理就是模仿mysql 读日志线程,读取mysql日志,将其中数据传入其他地方。本次实验canal版本deplover-1.1.4修改两个文件\canal.deployer-1.1.4\conf\example\instance.properties修改mysql相关信息 账户密码之类的 和对应哪个库表的正则 kafka的topic## mysql serverId 可以随便,配canal主从的时候可以不一样canal.instance.mysql.slaveId = 125#pos原创 2020-07-28 14:13:19 · 498 阅读 · 0 评论 -
Windows部署canal
首先装好jdk或者jre 环境,server模式修改canal解压包 bin目录下startup.bat文件去除此行前@rem注释作用,不然会报错set logback_configurationFile=%conf_dir%\logback.xml双击bat 运行即可原创 2020-07-28 13:39:47 · 759 阅读 · 0 评论 -
canal正则配置读取多个库表
canal/conf/example/instance.properties文件中配置正则匹配多个库表。#table regexcanal.instance.filter.regex =155_155\\..*,cms.measurementvaluescanal.mq.partition=0canal.mq.topic= SKFcanal.mq.partitionHash=155_1...原创 2020-03-31 09:58:33 · 4282 阅读 · 2 评论