tidb-cdc同步kafka报错Message was too large

最新推荐文章于 2024-09-07 10:28:38 发布

与数据交流的路上

最新推荐文章于 2024-09-07 10:28:38 发布

阅读量412

点赞数

分类专栏： TIDB 文章标签： kafka java 大数据

本文链接：https://blog.csdn.net/line_on_database/article/details/125545264

版权

TIDB 专栏收录该内容

63 篇文章 2 订阅

订阅专栏

在kafka的配置文件中填写以下参数调大同步的消息数量，然后重启kafka即可

# broker 能接收消息的最大字节数
message.max.bytes=947483648
# broker 可复制的消息的最大字节数
replica.fetch.max.bytes=947483648
# 消费者端的可读取的最大消息字节数
fetch.message.max.bytes=947483648

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

与数据交流的路上

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

处理Spark的Too large frame报错及优化Shuffle算子的经验总结

pan5431333的博客

08-28

1万+

背景介绍：最近在对一个Spark任务进行调优时，在260G的输入数据上跑，总会在执行8-9小时后抛出Too large frame的异常。对此异常进行深入了解，也尝试了很多解决办法，现将其总结以备往后参考。 Too large frame异常的原因： Spark抛出Too large frame异常，是因为Spark对每个partition所能包含的数据大小有写死的限制（约为2G...

kafka 报错：kafka server：Message was too large ，server rejected it to avoid allocation

vkingnew 的技术博客

08-31

6343

kafka报错信息： kafka server：Message was too large ，server rejected it to avoid allocation kafka版本： kafka 1.1.0版本。原因分析：查看kafka配置，默认单条消息最大为1M，当单条消息长度超过1M时，就会出现发送到broker 失败，从而导致消息在producer的队列中一直累积，直到撑爆生...

参与评论您还未登录，请先登录后发表或查看评论

kafka单条消息过大发送失败

最新发布

IT深耕十余载，大道之简

09-07

733

在使用Apache Kafka时，如果单条消息过大，可能会导致发送失败。：Kafka的broker配置中，参数定义了broker能接受的最大消息大小（默认是1MB）。如果消息大小超过了这个值，broker会拒绝接受这个消息。：Producer的参数（默认与相同）定义了Producer发送给broker的请求的最大大小。这个大小包括了消息本身的大小以及任何可能的元数据或协议开销。

Kafka生产者报错MESSAGE_TOO_LARGE

码灵的博客

01-25

4389

问题：kafka发送接收消息默认大小是1M，如果数据超过1M就会报错MESSAGE_TOO_LARGE。解决方案： 1 修改kafka 安装路基config目录修改server.properties文件；修改后重启kafka #单位B message.max.bytes=1024000000 查看日志是否修改成功 cat server.log.*|grep message.max.bytes bash-4.4# cat server.log.*|grep message.max.b.

TIDB-kafka server: Message was too large, server rejected it to avoid allocation error

line_on_database的博客

09-26

499

一、背景使用drainer同步到kafka报错： ["fail to produce message to kafka, please check the state of kafka server"] [error="kafka: Failed to produce message to topic test-tidb: kafka server: Message was too large, server rejected it to avoid allocation error."] 二、解决

kafka java api 入数据报错：Error: MESSAGE_TOO_LARGE

那又怎样？的博客

12-18

3384

1.kafka版本：kafka_2.11-2.1.0-kafka-4.0.0.jar 2.server.properties：所有调优参数都是默认 3.topic ：null，所有参数默认 4.入库1G txt文件，只加三个参数： acks：all batch.size：1048576 linger.ms：10 引用：http://www.mamicode.com/info-detai...

flink-sql-connector-tidb-cdc-2.5-SNAPSHOT.jar

08-15

flink-sql-connector-tidb-cdc 2.5-SNAPSHOT

flink通过flink-connector-tidb-cdc使用streamapi方式连接tidb

04-04

Flink通过Flink-connector-tidb-cdc连接TiDB的过程如下： 1. 准备工作在开始使用Flink-connector-tidb-cdc之前，需要准备以下内容： - TiDB实例 - TiCDC组件 - Flink-connector-tidb-cdc依赖的jar包 2. 创建...

tidb-vision:TiDB 数据可视化

05-30

tidb-vision是一个组件，通过独立的 UI 框架提供 PD 调度的可视化。它使用d3（data-driven-document）作为底层渲染库，使用扩展的Circos作为基础布局引擎，实现stacks、circle Sector、chords等布局。状态之间的...

TiDB-讲义，详细版

06-20

TiDB 讲义详细版 TiDB 是一种 NewSQL 数据库管理系统，它结合了传统关系数据库的优势和 NoSQL 数据库的可扩展性。TiDB 的出现是为了解决传统关系数据库在大规模数据存储和处理时的瓶颈问题。数据库技术发展简史 ...

【FLINK】Kafka数据源通过Flink-cdc进行实时数据同步

weixin_37788200的博客

06-11

2619

通过flink-cdc实现kafka数据源的数据实时同步到目标数据库，并对目标库进行增删改操作

TiDB TiCDC Kafka Topic分发规则详解

sorpio_wyf的博客

05-08

1432

本文将详细讲解ticdc同步kafka消息topic分发规则

TiDB数据库从入门到精通系列之六：使用 TiCDC 将 TiDB 的数据同步到 Apache Kafka

zhengzaifeidelushang的博客

08-16

1778

TiDB数据库从入门到精通系列之六：使用 TiCDC 将 TiDB 的数据同步到 Apache Kafka

TiDB同步增量数据到Kafka

总想试试，万一成了呢？？

03-16

700

本文主要是根据官方文档指导，结合实际主机情况，在CentOS 7上通过TiCDC 将TiDB增量数据同步到Kafka。

TiDB 同步数据到 Kafka 最佳实践

TiDB 社区干货传送门

12-29

473

作者： Billmay 原文来源： https://tidb.net/blog/192ff559 ...

解决ORC元数据片段超过protobuf message大小限制问题

L13763338360的博客

05-06

3541

问题描述用datax将数据从业务库同步到数仓，hive表采用的是orc存储格式。业务表数据量比较大，4000多万，表有点复杂，表字段超过100个。花了3个小时左右同步完，select count(*)统计表数据量时报错，如下 Diagnostic Messages for this Task: Error: java.io.IOException: java.lang.reflect.In...

kafka消息体过大导致生产者无法发送

weixin_37000280的博客

09-24

5726

kafka生产者生产消息时报错，消息体过大无法发送项目场景：项目中通过binlog+canal+kafka的方式进行数据同步业务，由于rds中会实时的更新线下监控设备的状态信息，所以binlog产生的日志信息相对来说较大问题描述：在通过canal将解析后的binlog日志发送到kafka的时候，kafka中对应的topic中一直没有看到有消息发送过来，查看canal日志后，发现如下报错： Caused by: org.apache.kafka.common.errors.RecordTooLa

kafka 解决大消息发送和接收报错问题

Master_Shifu_的博客

01-21

9172

kafka消息超过一定大小会报错如下: The message is 2044510 bytes when serialized which is larger than the maximum request size you have configured with the max.request.size configuration. 配置以下配置设置最大上传大小解决: kafka: bootstrap-servers: xxx #生产者 producer:

kafka单条消息过大导致生产者程序发送到broker失败