Kafka学习进阶(五)--记一次线上调优(max.request.size)和kafka线上解决思路

最新推荐文章于 2024-07-08 20:34:16 发布
最新推荐文章于 2024-07-08 20:34:16 发布
阅读量1.9w 收藏 7
点赞数 1
文章标签： 大数据 数据库 java
原文链接：https://my.oschina.net/u/2380961/blog/3020059
版权
本文介绍了在Kafka线上环境中遇到的max.request.size问题，导致数据库连接超时和Kafka消费延迟。通过调整数据库查询策略、优化Kafka配置以及修改代码实现分批发送，成功解决了问题。同时，文章强调了了解线上数据规模和熟悉Kafka配置的重要性，以及在处理大消息时的各种考量，包括性能、内存管理和垃圾回收。
摘要由CSDN通过智能技术生成

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

一、回顾kafka的知识点和问题陈述

        前面几篇kafka文章，介绍从搭建到优化。   

Kafka消息队列学习(一)--场景和搭建;

Kafka消息队列学习进阶(二)--项目实战;

Kafka消息队列学习进阶(三)--原理概念介绍篇;

Kafka消息队列学习进阶(四)--优化(配置/代码/集群);

        以上都是在test和uat环境进行测试和迁移数据的，最近迁移项目正式上线，但是上线当晚就出现严重的bug，现象是：

        1.一执行迁移程序，数据库连接就超时。

       2.kafka连接不上，同时查看error.log日志，kafka一直报数据大小超过kafka最大的发送size(kafka max.request.size)。也就是那天根本没有上线成功是失败的。那么我们是怎么处理的呢？

 

二

最低0.47元/天 解锁文章
weixin_34278190
关注
  • 1
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
kafka线上问题整理和优化
mrb1289798400的博客
05-14 1339
一、前言 博主现在负责触达平台的建设，众所周知，对于4000万客户的推送来说，高流量的推送会导致系统负载更高，所以就会使用大量的消息队列来缓冲请求，达到削峰；但是由于网络抖动或者流量高峰期间可能会存在一些报错，现在记录下来并作为分享。 二、生产者问题整理 问题一：生产者写入超时 现象： org.apache.kafka.common.errors.TimeoutException: Expiring 59 record(s) for mkt_push_statistics_filter-7: 3
kafka处理超大消息的配置 org.apache.kafka.common.errors.RecordTooLargeException
01-07
在使用 canal 和kafka处理数据同步时canal日志提示如下异常： java.lang.RuntimeException: java.util.concurrent.ExecutionException: org.apache.kafka.common.errors.RecordTooLargeException: The request included a message larger than the max message size the server will accept   原因是消息过大无法处理 第一步：修改 canal/conf/canal.properties配置
kafka max.request.size
Pianist Of Keyboard的博客
10-19 6872
项目场景： 使用maxwell通过kafka发布mysql binlog数据 问题描述： 在启动maxwell的时候遇到这个warning，结合maxwell启动时候的打印初始参数可知是参数出了问题 The request included a message larger than the max message size the server will accept 原因分析： 参考 https://blog.csdn.net/tiyager/article/details/10262
IT技术分享--kafka消息大小设置
最新发布
lin_hp的博客
07-08 484
kafka消息大小默认为1M，当需要调整消息大小时，可通过以下方式配置，亲测有效。
[Kafka]消息超过最大值限制max.request.size
热门推荐
zhangxiaohui4445的博客
11-04 1万+
问题： 在抽取关系型数据库到kafka 中时，出现以下问题： max.request.size 生产者客户端能发送消息的最大值，默认值为1048576B，1MB。不建议盲目修改，这个参数涉及其他的一些参数的联动，比如broker端的message.max.bytes参数，如果broker的message.max.bytes参数设置为10，而max.request.size设置为20，当发送一条大小为15B的消息时，生产者参数就会报错。 因此需要连续修改以上多个参数，才能生效 修改如下： mes
kafka服务端允许生产者发送最大消息体大小
BestEternity的博客
07-25 6297
kafka服务端允许生产者发送最大消息体大小
kafka max.request.size过小的问题
Pianist Of Keyboard的博客
10-19 7353
遇到问题： 配置maxwell+kafka的时候遇到报错提示producer request的大小大于默认值 ERROR MaxwellKafkaProducer - The message is 1260501 bytes when serialized which is larger than the maximum request size you have configured with the max.request.size configuration. 参考kafka文档可知max.requ
kafka2.10-0.8.2.0集群部署
11-07
- **配置项**: `log.dirs=/data/data1/kafka/kafka-logs,/data/data2/kafka/kafka-logs,/data/data3/kafka/kafka-logs,/data/data4/kafka/kafka-logs,/data/data5/kafka/kafka-logs` - **作用**: 指定日志文件的存储...
kafka配置参数详解 - 网络技术
09-22
Kafka是分布式流处理平台，广泛用于构建实时数据管道和流应用程序。在实际使用过程中，需要对Kafka的配置参数进行详细理解，以便根据具体业务需求调整参数，优化性能。以下对Kafka主要配置参数进行详细解读： 1. ...
大数据技术之Kafka.docx
03-03
socket.request.max.bytes=104857600 # 日志存放路径 log.dirs=/opt/module/kafka/logs # topic分区数量 num.partitions=1 # 恢复和清理数据的线程数量 num.recovery.threads.per.data.dir=1 # segment文件...
kafka 参数 batch.size、linger.ms, max.request.size、 message.max.bytes、fetch.....
当个码农写bug
02-02 2054
kafka 大小配置参数
spring-kafka 设置发送消息的大小
枫夜
11-28 7362
环境 spring boot2 spring cloud spring-kafka kakfa 2.2.0 场景 程序调用spring-kakfa内置的kafkaTemplate进行发送消息，但是消息实体过大，超过默认配置，导致消息发送失败。报错提示如下： The message is 2044510 bytes when serialized which is larger than the...
kafka 解决大消息发送和接收报错问题
Master_Shifu_的博客
01-21 8777
kafka消息超过一定大小会报错如下: The message is 2044510 bytes when serialized which is larger than the maximum request size you have configured with the max.request.size configuration. 配置以下配置设置最大上传大小解决: kafka: bootstrap-servers: xxx #生产者 producer:
kafka生产者性能相关的参数理解
自律使我自由
05-25 6085
batch.size 当多条消息发送到batch后，batch的上限大小（字节为单位），当达到上限时则会发送给kafka broker，设置的过小则降低了kafka的吞吐量，设置的过大则消息的延迟时间会拉长、占用了过高的内存 ...
Kafka生产调优相关配置参数设置
qq_43224174的博客
05-08 676
包含Kafka保证数据不丢失配置，压缩设置、批次大小设置、每批次消息发送延迟、发送消息缓冲区大小、发送消息每条消息大小设置等。
Kafka常见参数
weixin_43180484的博客
01-30 1000
参数名 含义 默认值 解释 max.request.size 生产端：最大请求字节大小 1MB 如果生产请求消息体大小大于该值，客户端生产时会报错 max.poll.records 消费端：一次poll()请求最大拉取消息条数 500条 如果单条消息处理时间长，需要减少该参数值，反之增加 fetch.min.bytes 消费端：一次poll()请求最小返回字节大小 1 增加该值可以提高吞吐量，同时也会产生一定延迟 fetch.max.bytes 消费端：一次poll()请求最大返
springboot使用kafka发送消息，消息过大报错
ab3344556677的博客
10-27 6601
报错信息如下所示： Caused by: org.apache.kafka.common.errors.RecordTooLargeException: The message is 1527150 bytes when serialized which is larger than 1048576, which is the value of the max.request.size configuration. 从日志可以看出，kafka默认一次接收请求消息的最大量为1M,即1048576字节，从这我们
kafka 生产者客户端重要参数详解
weixin_45663222的博客
06-01 2979
kafka 生产者客户端参数
kafka 设置 max.request.size
06-03
在 Kafka 中，可以通过设置 `max.request.size` 参数来限制生产者发送到 Kafka 的消息大小。该参数的默认值是 1048576 字节（即 1MB），可以根据实际需求进行调整。 要设置 `max.request.size` 参数，可以在 Kafka 生产者的配置文件中添加以下配置： ``` max.request.size=<message_size_in_bytes> ``` 其中，`<message_size_in_bytes>` 表示消息的最大大小（以字节为单位）。例如，如果要将消息大小限制为 10MB，则可以将参数设置为： ``` max.request.size=10485760 ``` 需要注意的是，`max.request.size` 参数只能限制单个消息的大小，而不能限制批量消息的总大小。如果需要限制批量消息的总大小，可以考虑设置其他相关参数，如 `batch.size` 和 `linger.ms`。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值