Canal kafka 消费 Caused by: com.google.protobuf.InvalidProtocolBufferException: Protocol message end

最新推荐文章于 2023-11-15 09:49:01 发布
最新推荐文章于 2023-11-15 09:49:01 发布
阅读量507 收藏
点赞数
分类专栏： canal
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Andrew_2018/article/details/108536890
版权

在做解析binlog的时候，消费kafka中的binlog信息，在解析时出现了这个异常。解决方法:

  将canal 配置文件canal.properties里的canal.mq.flatMessage = false ，默认为true

   当然我这种解决方案是在排除了canal server与client版本不一致，kafka topic里没有其他数据的情况下生效的

赢一把就睡
关注
专栏目录
com.dyuproject.protostuff.ProtobufException: Protocol message contained an inval
xiaomin1991222的专栏
08-05 2814
log4j:WARN No appenders could be found for logger (org.springframework.core.env.StandardEnvironment). log4j:WARN Please initialize the log4j system properly. Exception in thread "main" java.lang.I...
Caused by: java.io.NotSerializableException: org.apache.parquet.schema.MessageType
qq_31866793的博客
05-21 1028
目前没解决，本地代码可以运行，打包集群运行也没问题，可能是zeppelin哪里的依赖包冲突。 scala任务代码 Head default %flink.conf flink.execution.packages org.apache.flink:flink-connector-kafka_2.11:1.11.2,com.alibaba:fastjson:1.2.60,org.apache.flink:flink-parquet_2.11:1.1...
Caused by: java.lang.IllegalStateException: com.google.protobuf.InvalidProtocolBufferException: Prot
最新发布
weixin_51473488的博客
11-15 397
hadoop中namenode报错Caused by: java.lang.IllegalStateException: com.google.protobuf.InvalidProtocolBufferException: Protocol message was too large. May be malicious. Use CodedInputStream.setSizeLimit() to increase the size limit。在hdfs-site.xml中添加以下配置。
com.google.protobuf.InvalidProtocolBufferException: Message missing required fields: callId, status
ArmandXu的专栏
12-30 1万+
造成以下的错误，是因为使用的hadoop 的java api的版本与集群上的版本不一致造成的，hadoop使用ProtocolBuffer对消息进行序列化，由于版本不同使用的ProtocolBuffer也是不同的，所以在反序列化的时候出现了错误。1620784 [DefaultQuartzScheduler_Worker-0] INFO org.apache.hadoop.yarn.service
解决 Failed on local exception: com.google.protobuf.InvalidProtocolBufferException: Protocol message
kwame211的博客
01-30 1万+
这个错误主要是端口号写错了，我来演示一下错误 [root@hadoop1 ~]# hdfs dfs -ls hdfs://192.168.0.37:50070/ ls: Failed on local exception: com.google.protobuf.InvalidProtocolBufferException: Protocol message end-group tag did ...
com.google.protobuf.InvalidProtocolBufferException: Protocol message contain
热门推荐
zl15145428的博客
07-07 1万+
错误记录:com.google.protobuf.InvalidProtocolBufferException: Protocol message contain FileInputStream in = new FileInputStream(file);ByteArrayOutputStream out = new ByteArrayOutputStream();   byte[] b = n...
canal.adapter 运行异常： com.alibaba.druid.pool.DruidDataSource 解决办法
04-11
将 client-adapter.es7x-1.1.5-jar-with-dependencies.jar 替换plugin下的jar可以解决druid报错问题，注意版本1.1.5，不是这个版本不一定能解决
kafka处理超大消息的配置 org.apache.kafka.common.errors.RecordTooLargeException
01-07
java.lang.RuntimeException: java.util.concurrent.ExecutionException: org.apache.kafka.common.errors.RecordTooLargeException: The request included a message larger than the max message size the server ...
Caused by: feign.FeignException: status 404 reading XXXFeign#findSpuById(String)报错解决
qq_37281398的博客
10-04 1892
今天在做项目的时候，当我调用feign暴露的远程声明方法时，调用总是出问题， 我这里是商品在审核通过之后，通过canal的数据监控，发送mq消息到生成静态页面的微服务，生成静态页面微服务的mq监听，监听到mq的消息，然后调用feign远程服务的方法获取数据赋值到Thymeleaf模板上的时候，远程调用发生的bug，404的bug，报错如下。 org.springframework.amqp.rabbit.listener.exception.ListenerExecutionFailedExcepti
阿里canal组件:canal.deployer-1.1.7-SNAPSHOT.tar.gz
01-06
阿里Canal是一款由阿里巴巴开源的、轻量级的数据变更订阅与推送组件，主要用来实现数据库的增量数据同步。在IT行业中，特别是在互联网公司，数据一致性是至关重要的，而Canal就是为了满足这种需求而诞生的。它能有效...
解决java.io.IOException: Failed on local exception: com.google.protobuf.InvalidProtocolBufferException
qq_45923034的博客
11-14 1266
1:查看HBase的配置文件hbase/conf/hbase-site.xml中配置的。2.下面这个代码获取端口号。3.重启hbase成功。
C#下使用protobuf(Google Protocol Buffers)
Insect_Virus的博客
04-15 2722
Protobuf是google提供的一个开源序列化框架，类似于XML，JSON这样的数据表示语言，其最大的特点是基于二进制，因此比传统的XML表示高效短小得多。除了比Json、XML有速度上的优势和使用上的方便外，protocolbuf还可以做到向前兼容和向后兼容。         protobuf 虽然只支持JAVA、C++和Pyton，但protobuf社区的protobuf.net组件让p
Caused by: io.protostuff.ProtobufException: Protocol message contained an invalid tag (zero).
weixin_30256901的博客
09-13 2191
[ERROR] com.xxxx.redis.RedisClientTemplate.getOject(RedisClientTemplate.java:60):http-bio-8080-exec-13 - Reading from a byte array threw an IOException (should never happen). java.lang.RuntimeExceptio...
java.io.IOException: Failed on local exception: com.google.protobuf.InvalidProtocolBufferException:
weixin_40393128的博客
10-24 1508
出现这个原因，主要是因为端口号写错了： java.io.IOException: Failed on local exception: com.google.protobuf.InvalidProtocolBufferException: Protocol message end-group tag did not match expected tag.; Host Details : local...
c 加密 java解密错误_google协议缓冲区-用C加密,用Java解密-InvalidProtocolBufferException...
weixin_35911805的博客
03-03 576
抱歉,但我想我要疯了.我在C中有这个：std::stringstream message;protoMsg.SerializeToOstream(&message);boost::system::error_code ignored_error;std::cout << "Writing response to socket. Byte size " << prot...
Protocol message was toolarge. May be malicious. Use CodedInputStream.setSizeLimit() to increase ...
liliang199的专栏
04-26 5403
Caused by:Portable(java.io.IOException): Call to host:port failed on local exception:com.google.protobuf.InvalidProtocolBufferException: Protocol message was toolarge. May be malicious. Use CodedInputStream.setSizeLimit() to increase thesize limit.
Caused by: com.alibaba.otter.canal.protocol.exception.CanalClientException: java.net.ConnectException: Connection refused: connect
10-20
这个异常信息表明了一个名为CanalClientException的异常，它是由于连接超时或者连接被拒绝而引起的。具体来说，这个异常是由于Canal客户端无法连接到Canal服务器而引起的。可能的原因包括Canal服务器未启动、网络连接故障或者防火墙阻止了连接。为了解决这个问题，你可以检查Canal服务器是否已经启动，检查网络连接是否正常，或者检查防火墙设置是否正确。如果这些方法都无法解决问题，你可以尝试联系Canal的开发者或者社区，以获取更多的帮助和支持。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值