Kafka producer无法发送消息解决办法

最新推荐文章于 2024-06-27 09:56:14 发布
最新推荐文章于 2024-06-27 09:56:14 发布
阅读量1.5w 收藏 9
点赞数 6
分类专栏： java kafka-消息发布与订阅 文章标签： 虚拟机 kafka-java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hutonm/article/details/78624409
版权

在虚拟机搭建了kafka集群，在集群内使用Shell可以成功发送消息创建Topic。
但是在外部使用API无法发送消息，但是能创建topic
具体原因

Hostname and port the broker will advertise to producers and consumers. If not set, it uses the value for “listeners” if configured. Otherwise, it will use the value returned from java.net.InetAddress.getCanonicalHostName().

所以将

#advertised.listeners=PLAINTEXT://your.host.name:9092

修改为

advertised.listeners=PLAINTEXT://192.168.84.136:9092
hutonm
关注
  • 6
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
专栏目录
Kafka Producer机制优化-提高发送消息可靠性
08-27
通过对Kafka Producer发送机制进行优化，特别是在面对Broker故障时的消息发送策略调整，可以显著提高系统的稳定性和消息发送的可靠性。通过上述改进方案，即使部分Broker出现故障，也能保证消息能够及时、准确地发送...
Kafka producer程序本地运行时发送信息失败解决方案
yxinzju的专栏
12-11 9930
kafka.common.FailedToSendMessageException: Failed to send messages解决办法
【Kafka】深入图解Kafka producer 发送过程
m0_45406092的博客
08-10 3985
文章目录producer 发送过程参考 producer 发送过程 在新版本的kafka中（从0.9开始），其实只有异步方式一种，是批量发送的方式 在producer端，存在2个线程： 一个是producer主线程，用户端调用send消息时，是在主线程执行的，数据被缓存到RecordAccumulator中，send方法即刻返回，也就是说此时并不能确定消息是否真正的发送到broker。 另外一个是sender IO线程，其不断轮询RecordAccumulator，满足一定条件后，就进行真正的网络IO发送
python---给kafka发送消息
最新发布
大眼`不聚光
06-27 168
【代码】python---给kafka发送消息。
Kafka测试问题Producer数据send不到kafka中 --Version 2.3.0
weixin_43598715的博客
09-02 2159
Kafka测试问题之Producer数据send不到kafka中 原先Kafka中的/config/server.properties 中配置listeners=PLAINTEXT://:9092 没有对其进行修改 测试Kafka是否能够连接通畅，操作如下： 创建 topic： bash kafka-topics.sh --create --bootstrap-server localhost:...
Kafka生产者
通往神秘的道路的专栏
09-24 1734
生产者就是负责向 Kafka发送消息的应用程序。在 Kafka的历史变迁中,一共有两个大版本的生产者客户端:第一个是于 Kafka开源之初使用Scaa语言编写的客户端,我们可以称之为旧生产者客户端(Old Producer)或 Scala版生产者客户端;第二个是从 Kafka 0.9.x版本开始推出的使用Java语言编写的客户端,我们可以称之为新生产者客户端(New Producer)或Java版...
KafkaProducer详解
热门推荐
weixin_39034379的博客
08-09 1万+
1.Producer简介 Kafka Producer 就是负责向Kafka 服务端,写入数据的程序。 Kafka 支持多种Producer库，主流的编程语言都覆盖到了。但是除了Java其他的语言都是由非Apach Kafka社区的人进行维护的。有其他语言的客户端需求，可以去这个网址去下载相应的信息。 kafakclients链接 2.构造Producer 2.1简单构造 1.构建配置文件 首先第一步是进行用户鉴权的操作（如果Kafka集群需要的话） 然后需要配置的三个主要参数 broker的地址 k
Kafka之Producer生产者
cainiao1412的博客
05-05 3569
Producer概览 Producer SDK Producer就是负责向Kafka集群中写入消息数据的应用程序，自 Kafka 0.9 版本提供了Java版本的Producer SDK供用户使用， Kafka官方支持的语言SDK较少，更多都是由第三方社区维护的SDK，如果需要使用对应语言的SDK，需要额外下载， 第三方库信息地址：docs.confluent.io/platform/cu… Producer 通信协议 Kafka自己内部封装了一套二进制通信协议，用户可使用任意语言按照该协议进行
pentaho-kafka-producer.zip
03-16
Pentaho Kafka Producer是一款用于Pentaho Data Integration（Kettle）平台的插件，它允许用户在数据集成过程中将数据流发布到Apache Kafka消息队列。Kafka是一个分布式流处理平台，广泛应用于实时数据管道和流应用...
Java使用kafka发送和生产消息的示例
08-27
生产者（Producer）负责将消息发送到Kafka主题。下面是一个简单的生产者示例： ``` package com.lnho.example.kafka; import org.apache.kafka.clients.producer.KafkaProducer; import org.apache.kafka.clients....
第12单元 Kafka producer拦截器与Kafka Streams1
08-08
Producer拦截器使得用户在消息发送前以及producer回调逻辑前有机会对消息做一些定制化需求，如修改消息等。同时，producer允许用户指定多个interceptor按序作用于同一条消息从而形成一个拦截链(interceptor chain)...
kafka_producer.zip
06-18
总结来说，`kafka_producer.zip`提供的资源展示了如何使用Python和`kafka-python`库创建一个简单的Kafka生产者，该生产者能够从配置文件读取参数，向指定的Kafka主题发送数据。理解这个过程对于任何需要在Python环境...
Kafka For Python Producer.send() 会超时的原因分析
02-28 6546
昨天在做方案调研，用python-kafka往 Kafka 里塞数据时发现了个很奇怪的问题：有的请求会阻塞60s后报错。 但我们都知道python-kafka是可以完全异步的，他自己用local-thread实现了异步的发送功能。并且看官方Producer API返回的是一个Future，理应不会卡住，但Block却实实在在的发生了，让人很费解。 排查问题 胡乱百度 因为我们用的是gunicorn...
Producer可以创建topic却无法send消息
再见，多谢你们的鱼
02-06 2329
1 问题描述 创建的Java Producer API发送数据，但是consumer的时候却无法看到发送的数据。不过可以成功创建topic。 2 机器简介 我有四台linux集群（不是虚拟机，都是单独的物理机，四台树莓派）： hostname broker-list IP地址 power1 broker0 192.168.31.2 slaves1 broker1 192.168...
Kafka发送消息失败原因
weixin_30797199的博客
04-28 1136
Kafka发送消息方法如下：Properties properties = new Properties();properties.put("zookeeper.connect", "server1:2181"); properties.put("serializer.class",StringEncoder.class.getName()); properties.put("metadata.b...
kafka无法发送消息问题处理
ado1986的专栏
08-27 8188
往kafka发送消息时失败，抛出错误信息：kafka.common.FailedToSendMessageException: Failed to send messages after 3 tries。列出分析过程和解决方案，遇到问题的朋友可参考。
kafka 收不到消息_Kafka：Java Producer发送消息后,控制台消费者上没有看到任何消息...
weixin_34896969的博客
12-29 1252
我是卡夫卡的新手.我在我的本地机器上创建了一个java生成器,并在另一台机器上设置了一个Kafka代理,比如M2,在网络上(我可以ping,SSH,连接到这台机器).在Eclipse控制台的Producer端,我收到“Message sent”.但是,当我检查机器M2上的控制台消费者时,我看不到这些消息.我的java生产者代码是：import org.apache.kafka.clients.pr...
Kafka消息发送失败的常见原因及解决方案
qq_44912620的博客
11-03 3390
异步确认：生产者在发送消息后不等待Kafka服务器的确认响应，而是立刻发送下一条消息。Kafka生产者可以设置重试次数和重试间隔时间，当消息发送失败时，Kafka生产者将自动进行重试。- 同步确认：生产者在发送消息后，等待Kafka服务器的确认响应，直到收到确认响应之后才继续发送下一条消息。这种方式可以保证消息的可靠性，但会影响消息发送的效率。如果Kafka生产者将消息发送到一个不可用的分区副本，那么消息发送就会失败。Kafka默认有消息大小的限制，如果消息大小超过了限制，那么消息发送就会失败。
Python3中使用Kafka，生产者不发送消息也不给出错误
showgood119的专栏
11-26 2503
现象：生产者不发送消息也不给出错误，服务器上看不到消息积累 from kafka import KafkaConsumer # 生产者 server_list = ["10.15.13.87:9090","10.15.13.88:9090"] producer = KafkaProducer(bootstrap_servers=server_list) msg = "http://www.baidu.com" bmsg = bytes(str(msg).encode('utf-8')) producer
kafka producer怎么发消息
08-12
要使用Kafka Producer发送消息，您需要按照以下步骤进行操作： 1. 首先，确保您已经安装并配置了Kafka。您可以从Apache Kafka官方网站下载和安装Kafka。 2. 创建一个Kafka Producer实例，并配置所需的参数，如Kafka集群的地址和端口号。 3. 使用Producer实例创建一个或多个ProducerRecord对象，该对象包含要发送的消息及其相关信息，如topic名称、消息键和值。 4. 使用Producer实例的send()方法将ProducerRecord发送到Kafka集群。 以下是一个示例代码片段，演示如何使用Java编写的Kafka Producer发送消息： ```java import org.apache.kafka.clients.producer.*; import java.util.Properties; public class KafkaProducerExample { public static void main(String[] args) { // Kafka集群的地址和端口号 String bootstrapServers = "localhost:9092"; // 配置Producer的参数 Properties props = new Properties(); props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, bootstrapServers); props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer"); props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer"); // 创建Kafka Producer实例 Producer<String, String> producer = new KafkaProducer<>(props); // 创建要发送的消息 String topic = "your_topic"; String key = "your_key"; String value = "your_message"; ProducerRecord<String, String> record = new ProducerRecord<>(topic, key, value); // 发送消息到Kafka集群 producer.send(record, new Callback() { @Override public void onCompletion(RecordMetadata metadata, Exception exception) { if (exception != null) { System.err.println("Error sending message: " + exception.getMessage()); } else { System.out.println("Message sent successfully! Topic: " + metadata.topic() + ", Partition: " + metadata.partition() + ", Offset: " + metadata.offset()); } } }); // 关闭Kafka Producer producer.close(); } } ``` 请注意，以上示例仅供参考，您需要根据您的实际情况进行适当的配置和修改。此外，还可以根据您选择的编程语言使用相应的Kafka客户端库来发送消息。
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值