kafka第一次send/生产时，响应很慢

置顶 已于 2022-04-22 20:28:13 修改
阅读量2.7k 收藏 2
点赞数
分类专栏： JAVA 文章标签： java kafka
于 2022-04-22 20:27:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/loney_wolf/article/details/124354147
版权

        首先排除版本与依赖不一致的情况后：
        Kafka在第一次加载时，会首先加载元数据，在向Kafka服务器发送元数据更新请求时，如果服务器与客户端在同一个网段，那么首次加载更新元数据时，会很快。
        Kafka服务器与客户端不在同一网段，特别是开启了SASL认证后，会先经过域名解析服务器。这就很耗费时间了。
         解决：1、配置hosts域名解析
                    2、/etc/resolv.conf 注释掉nameserver配置

以上两种方式均可解决域名解析导致的首次加载很慢的问题。参考的博客：Kafka开启SASL认证，认证很慢，需要20秒问题排查

轻点 别打脸
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
关于高并发下kafka producer send异步发送耗时问题的分析
dianyuzhi7625的博客
01-20 2542
最近开发网关服务的过程当中，需要用到kafka转发消息与保存日志，在进行压测的过程中由于是多线程并发操作kafka producer 进行异步send，发现send耗时有时会达到几十毫秒的阻塞，很大程度上上影响了并发的性能，而在后续的测试中发现单线程发送反而比多线程发送效率高出几倍。所以就对kafka API send 的源码进行了一下跟踪和分析，在此总结记录一下。 首先看spring...
kafka producer端发送很慢？一招轻松解决
Therefore的专栏
04-10 1万+
使用场景：kafka发送producer为单实例（使用new kafkaProducer）并且使用同步发送，发送kafka使用线程池执行发送任务，任务队列大小为2000，kafka连接server端使用kerboeros认证。 当业务下发从nginx进入，两个tomcat节点进行发送kafka处理，1200TPS时会偶现几次处理时延很长，直接导致nginx504，第一时间打开debug日志，发...
Kafka开启SASL认证，访问速度很慢
javaMylife的博客
06-05 607
kafka集群开启sasl配置后，本地电脑使用kafkatools连接kafka集群速度非常非常慢，但是生产环境的kafkaconsumer却很快，而且不采用sasl模式也是很快的，最后在本地hosts添加kafka集群的域名配置，连接地址采用域名不使用Ip就可以了。
一次解决kafka producer发送很慢的经历
热门推荐
qq_18581221的博客
12-11 1万+
一次解决kafka producer发送很慢的经历 使用场景：kafka发送producer为单实例并且使用同步发送，发送kafka使用线程池执行发送任务，任务队列大小为2000，kafka连接server端使用kerboeros认证 当业务下发从nginx进入，两个tomcat节点进行发送kafka处理，1200TPS时会偶现几次处理时延很长，直接导致nginx504，第一时间打开debug日志...
kafka问题：第一次消费数据巨慢或者org.apache.kafka.common.errors.TimeoutException: Failed to update metadata after
龙ygl龙的博客
12-26 2677
背景：在开发的过程中，当有大批量的数据进行同时处理的业务场景。为了保证系统的稳定性和防止数据丢失。我们需要使用消息队列，进行存储消息。这里kafka不失为一种最佳的选择。 这里特别提醒一句话，kafka的版本不对一切都是白费，会出现各种问题。 但是在使用kafka的过程中，我遇到了如下问题： 1、第一次消费数据是巨慢。大概需要40秒的时间才可以消费到。 2、当我清理了k...
kafka客户端生产者消费者kafka可视化工具（可生产和消费消息）
06-22
Kafka生产者的主要作用是将应用程序产生的数据发送到Kafka集群的主题中。这个过程是异步的，允许应用程序在发送消息后继续执行其他任务。生产者还具有重试和错误处理机制，以确保消息在传输过程中不会丢失。 Kafka...
kafka-example:一个简单的Kafka消费者和生产者示例
05-19
简单的Kafka消费者-生产者示例运行项目的步骤下载Kafka 0.10.0.0二进制文件cd kafka_2.11-0.10.0.0 运行zookeeper和kafka服务器bin/zookeeper-server-start.sh config/zookeeper.properties bin/kafka-server-start....
Kafka使用入门教程第1/2页
09-15
Kafka 是一个强大的分布式消息系统，它以高吞吐量、低延迟以及可扩展性而闻名。本教程将深入解析Kafka的核心概念和工作原理，帮助初学者理解其独特设计。 Kafka 的核心特性包括： 1. **分布式**: Kafka 集群由多个...
KAFKA权限配置SASL/PLAIN身份验证
01-07
zookeeper集群SASL认证&KAFKA权限配置SASL/PLAIN身份验证 配置环境 JKD: 1.8 Kafka: 2.3.0 Zookeeper: 3.4.14 服务器名 kafka内网IP:PORT kafka外网IP:PORT zookeeper内网IP:PORT KAFKA01 192.168.1.157:...
Kafka生产者详解（很细）
08-07
一、生产者发送消息的过程 二、创建生产者 二、发送消息 2.1 同步发送 2.2 异步发送 三、自定义分区器 四、生产者其他属性
springboot使用kafka发送消息，消息过大报错
ab3344556677的博客
10-27 6304
报错信息如下所示： Caused by: org.apache.kafka.common.errors.RecordTooLargeException: The message is 1527150 bytes when serialized which is larger than 1048576, which is the value of the max.request.size configuration. 从日志可以看出，kafka默认一次接收请求消息的最大量为1M,即1048576字节，从这我们
【SpringBoot】Spring Boot 的第一次请求接口过慢可能有多种原因
wjianwei666的专栏
08-28 2127
Spring Boot 应用程序第一次启动时，需要加载许多类、初始化应用程序上下文等等。这个过程可能需要花费一些时间。可以尝试将应用程序打成可执行的 JAR 包，这样启动时间会缩短很多。
基于Linux的Kafka安装，初步认识Kafka（一）
Dim_Jerry的博客
11-01 236
目录1. 认识kafka1. 搭建单机kafka2. 单机基准测试3. 搭建 kafka伪集群(待补充)4. kafka 基本概念5. 幂等性 1. 认识kafka 1. 搭建单机kafka 将kafka的安装包上传到虚拟机，并解压 cd /usr/loacl/ tar -zxvf kafka_2.13-2.6.0.tgz cd /usr/local/kafka_2.13-2.6.0 修改 server.properties cd /usr/local/kafka_2.13-2.6.0/conf
kafka入门简介
鸭梨的博客
11-26 277
Kafka是分布式的发布—订阅消息系统。它最初由LinkedIn(领英)公司发布，使用Scala语言编写，与2010年12月份开源，成为Apache的顶级项目。Kafka是一个高吞吐量的、持久性的、分布式发布订阅消息系统。它主要用于处理活跃live的数据(登录、浏览、点击、分享、喜欢等用户行为产生的数据)。 ...
kafka的producer执行卡住的问题
weixin_30746117的博客
09-11 2009
使用windows开发producer然后向远程的kakfa集群发送数据，但是一直卡着, 在window的hosts文件添加kafka集群的主机名和ip的映射就好了 网上搜了下，大致是producer需要获取zookeeper的位置。 转载于:https://www.cnblogs.com/gaoxing/p/4801371.html...
生产故障｜Kafka消息发送延迟达到几十秒的罪魁祸首竟然是...
梁桂钊的博客
01-18 1999
点击上方“服务端思维”，选择“设为星标”回复”669“获取独家整理的精选资料集回复”加群“加入全国服务端高端社群「后端圈」作者 | 丁威出品| 中间件兴趣圈1、故障现象笔者在双十一期间负...
记一次kafak异步发送变同步阻塞的问题
z357904947的博客
03-11 2388
在发送kafak 消息时，用的kafkaTemplate.send(), 返回的是个Future对象，没有get()去阻塞，发送方法是异步的。但是有次在切内网测试时发现这个方法被阻塞了。经过不断调试，发现当第一次启动发送消息时，如果有网络问题，获取卡夫卡服务器不可达，会造成阻塞。 经查阅文档， 发现第一次发送消息时生产者回请求kafak服务端，获取该主题的元数据 Metadata，Metadata 内容包括了主题相关分区 Leader 所在节点信息、副本所在节点信息、ISR 列表等，Kafka Produ
Kafka开启SASL认证，认证很慢，需要20秒问题排查
随笔
04-07 6208
kafka sasl认证很慢问题
kafka开启ACL,请求慢出现超时的解决办法
程序猿的樊笼
07-07 1276
正常情况下，使用某个kafka管理平台（或者是使用kafka提供的admin client）调用kafka的接口查询相关信息，比如查询topic列表，请求是很快的，如下：正常情况（网络也没问题），请求一般是很快的，如果通过一些管理平台，页面显示也是很流畅的。目前有几次遇到请求特别慢，接近10秒甚至数十秒的情况，一些管理平台就可能出现超时现象或者查询的特别慢。我目前遇到2次，说明如下：环境信息如下：当时在公司的时候是没有问题的，回家的时候因为要开启VPN就会出现这个问题，管理平台页面特别慢，甚至查询不出来。环
切换至kafka安装目录/opt/kafka，启动kafka服务
最新发布
11-22
以下是切换至kafka安装目录/opt/kafka，启动kafka服务的步骤： 1.打开终端并输入以下命令，切换至kafka安装目录/opt/kafka： ```shell cd /opt/kafka ``` 2.输入以下命令，启动kafka服务： ```shell nohup bin/...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值