canal的INVALID_TOPIC_EXCEPTION问题

最新推荐文章于 2023-12-05 10:46:05 发布

code__online

最新推荐文章于 2023-12-05 10:46:05 发布

阅读量1.6k

点赞数

分类专栏： canal 文章标签： big data database mysql

本文链接：https://blog.csdn.net/code__online/article/details/122447648

版权

canal 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

启动canal，canal.log存在INVALID_TOPIC_EXCEPTION问题

 [kafka-producer-network-thread | producer-2] WARN  org.apache.kafka.clients.NetworkClient - [Producer clientId=producer-2] Error while fetching metadata with correlation id 7168 : {=INVALID_TOPIC_EXCEPTION}

解决方案

canal instance.properties需要打开canal.mq.topic参数
canal.mq.topic 这一项最好不要注释,可以创建一个不适用的topic配置该项

# mq config
canal.mq.topic=xxxx

原因:如果有一些不符合dynamicTopic匹配的语句的消息会发送到该topic而避免报错 INVALID_TOPIC_EXCEPTION

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

code__online

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
canal的INVALID_TOPIC_EXCEPTION问题

canal INVALID_TOPIC_EXCEPTION问题
复制链接

扫一扫

专栏目录

canal_manager.sql

09-22

Canal Admin 1.1.5 SQL脚本

canal-canal-1.0.22_源码

04-19

【canal-canal-1.0.22_源码】是阿里巴巴开源的数据库实时增量数据订阅与同步工具，主要用于实现MySQL到其他数据库或者数据存储系统的实时数据迁移、同步，常用于构建数据仓库、日志收集等场景。Canal的核心功能是...

参与评论您还未登录，请先登录后发表或查看评论

Canal有关dynamicTopic出现的INVALID_TOPIC_EXCEPTION问题

m0_48043632的博客

08-13

2502

INVALID_TOPIC_EXCEPTION产生原因分析亲测有效(虽然不一定是最完美的解决办法) 1 .topic命名原则 topic命名最好不要带下划线"_",容易和kafka默认topic产生冲突 2.注意canal.mq.dynamicTopic的使用 ①canal.instance.filter.regex,后面配置该mysql下,你要监听的数据库下的对应的表,例如 canal.instance.filter.regex=user1.table1,user2.table2,user3.table

Springboot：kafka运行成功，报错InvalidTopicException

热门推荐

大数据训练营

10-30

1万+

编译kafka 0.8.2.2,解决bug kafka.common.InvalidTopicException: topic name kafka:h5_send_msg is illegal, contains a character other than ASCII alphanumerics, '.', '_' and '-' 一: 背景说明异常信息: [2017-10-2

flume 对接 kafka 报错： Error while fetching metadata with correlation id 35 {=INVALID_TOPIC_EXCEPTION}

stable_zl的博客

03-08

3864

flume 对接 kafka 报错：Error while fetching metadata with correlation id 35 : {=INVALID_TOPIC_EXCEPTION} 特此写篇博客记录一下自己一个 sb 的问题（看见日志以后熟视无睹，反而以为框架有问题了）在写用 flume 获取 hive 日志中的文件，在拦截器种依据 INFO、WARN、ERROR、DEBUG ...

kafka no record information is available

Jia__xin的博客

11-17

8071

kafka no record information is availablespringcloud-config-bus报错解决 springcloud-config-bus报错 [KafkaConsumerDestination{consumerDestinationName='springCloudBus', partitions=1, dlqName='null'}.container-0-C-1] ERROR o.s.k.l.KafkaMessageListenerContainer$Liste

mycanal.rar_canal项目_girlrmj_java_java canal_mycanal

09-24

【标题】"mycanal.rar_canal项目_girlrmj_java_java canal_mycanal" 提供的信息主要涉及一个名为“mycanal”的项目，该项目基于Apache的开源工具Canal，由用户girlrmj使用Java语言开发，特别是针对Java环境下MySQL的...

AWGN-Vs-Rayleigh.rar_AWGN rayleigh_between_canal coding _rayle

09-24

simulink block used to compare between two types of canal coding, three modulation thechnic and two canal (AWGN and rayleigh)

canal-canal-1.1.4_canal_K._产品_

09-30

名称：canal [k?'n?l]译意：水道/管道/沟渠产品定位：基于数据库增量日志解析，提供增量数据订阅和消费关键词： MySQL binlog parser / real-time / queue&topic / index build

TP2 codagr canal.rar_L99_bsc channel

07-13

simulation of transmission of channel bsc and rsb calcul

canal_mysql_elasticsearch_sync：基于canal的mysql和elasticsearch实时同步方案，支持增量同步和全量同步

02-04

canal_mysql_elasticsearch_sync支持请星 :sparkles: 交流Q群：733688083 canal于v1.1.2版本后，已支持自动同步到Elasticsearch。赞canal！基于运河的Mysql的与Elasticsearch实时同步的的JavaWeb服务。 canal是...

canal.deployer_1.1.2.zip

02-24

在部署和使用过程中，可能会遇到各种问题，如网络连接异常、配置错误等。可以通过查看Canal Server的日志（通常位于`logs`目录下）来进行排查。 10. **性能优化**：考虑到数据同步的效率和系统的负载，可能需要...

fjzj-mes-data-remove_canal_MYSQL_中间件_MES_

10-04

"fjzj-mes-data-remove_canal_MYSQL_中间件_MES_"这个项目标题和描述涉及了几个重要的技术概念，让我们逐一深入探讨。 1. **Canal**: Canal是阿里巴巴开源的一个MySQL数据库实时增量数据订阅与同步工具。它能够监听...

install_canal.sh

11-12

canal 1.1.4 shell安装脚本; 适用于CentOS操作系统；在CentOs 7上验证过，没有问题。

主流mq其topics命名规则(kafka,rocketmq)

white_while的博客

07-07

4095

kafka topics 命名规则

Canal dynamicTopic问题

FaN()

03-07

4436

Canal dynamicTopic问题未来同事跑了几个月的canal突然报下面的错, 使用了dynamicTopic. 其实我没有用过dynamicTopic, 只能搜一搜issue 关于dynamicTopic和partitionHash的说明 canal.mq.dynamicTopic 表达式说明 canal 1.1.3版本之后, 支持配置格式：schema 或 schema.table...

Kafka主题(Topic)的管理

通往神秘的道路的专栏

11-10

6999

主题的管理包括创建主题、查看主题信息、修改主题和删除主题等操作。可以通过 Kafka 提供的 kafka-topics.sh 脚本来执行这些操作，这个脚本位于 $KAFKA_HOME/bin/目录下，其核心代码仅有一行，具体如下 : exec $(dirname $0)/kafka-run-class.sh kafka.admin.TopicCommand "$@" 可以看到其实质上是...

canal-随记001-吐血一个下午找bug

daxianqin6752的博客

04-28

194

前天leader说，阿里的新版本canal支持 canal收集binlog直接发到kafka，你要不研究一下？ ok，没问题。昨天周六，在家搭了套环境。解决centos7安装mysql各种小细节，按照阿里github上的步骤来做。终于，还是没有跑起来。。但是根据现象：一旦往mysql表中插入数据，查看canal.log就会有日志滚动更新，只是不是我想要的内容。。。日志如下：...

canal mytest_user.yml配置同步多个表

05-27

可以使用canal来同步多个表。您可以在mytest_user.yml文件中配置多个表，然后通过canal进行同步。以下是一个示例mytest_user.yml文件，其中包括两个表： ```yaml canal.instance.master.address = 127.0.0.1:3306 canal.instance.dbUsername = root canal.instance.dbPassword = 123456 canal.instance.filter.regex = mytest\..* canal.instance.filter.black.regex = mytest\.test_table2 tables: - name: mytest.test_table1 includeColumns: - id - name excludeColumns: - address - name: mytest.test_table2 includeColumns: - id - age - address ``` 在这里，我们配置了两个表：mytest.test_table1和mytest.test_table2。每个表都有自己的列，可以使用includeColumns和excludeColumns属性来指定需要或排除的列。请注意，我们使用了canal.instance.filter.regex属性来定义需要同步的数据库和表，使用canal.instance.filter.black.regex属性来定义不需要同步的数据库和表。这些属性允许您更灵活地控制数据同步的范围。如果您需要同步更多的表，只需在mytest_user.yml文件中添加更多的表即可。