用c++ 连接kafka我所踩过的坑(Connection refused || desired partition does not exist)

最新推荐文章于 2024-07-13 06:47:24 发布
最新推荐文章于 2024-07-13 06:47:24 发布
阅读量5.3k 收藏 2
点赞数
文章标签： kafka librdkafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wangshiqilin_fjy/article/details/100165473
版权
本文讲述了作者在使用c++通过librdkafka库连接Kafka时遇到的两个问题：连接拒绝和指定分区不存在。解决方法包括在server.properties中配置advertised.listeners，并注意分区编号从0开始。分享这些经验，以帮助其他人避免类似问题。
摘要由CSDN通过智能技术生成

今天我在cetos上安装好了开启了kafka,网上找了几个例子,想用c++写一个生产者和消费者模型的例子.
然后踩了几个坑,公布出来,希望大家以后不要再踩

我是用它自带的sh工作作为生产者,配置好了主题和partition等信息,如下所示
[root@localhost bin]# ./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test11959
Created topic "test11959".
[root@localhost bin]# ./kafka-console-producer.sh --broker-list ${IP ADDRESS}:9092 --topic test11959
> 此时等待你的输入


然后我启动了我的消费者程序(用的是librdkafka这个库),但是出现了两个问题
首先出现的现象是这样的:

(这一条是网上的:Connecting to IPv6 addresses: Connect to ipv6#[::1]:9092 failed: Connection refused)
%3|1567166247.579|FAIL|rdkafka#consumer-1| [thrd:${IP address}:9092/bootstrap]: ${IP address}:9092/0: Connect to ipv4#${IP address}:9092 failed: Connection refused (after 1ms in state CONNECT)
%3|1567166247.579|ERROR|rdkafka#consumer-1| [thrd:${IP address}:9092/bootstrap]: ${IP address}:9092/0: Connect to ipv4#${IP address}:9092 failed:

最低0.47元/天 解锁文章
忘世麒麟
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
kafka linux C++ 动态库
06-12
综上所述，这个压缩包文件包含了一套在Linux（CentOS）环境下使用C++与Apache Kafka交互所需的动态库和头文件，开发者可以通过这些资源快速地构建自己的C++ Kafka应用。在使用过程中，需要关注兼容性、配置、错误...
flink连接kafka
01-20
标题 "flink连接kafka" 涉及到的技术领域是大数据处理，主要讨论如何将Apache Flink与Apache Kafka进行集成，实现数据流处理。Apache Flink是一个流行的开源流处理框架，而Apache Kafka是一个分布式消息系统，常用于...
本地连接Kafka提示连接被拒绝
长城的博客
09-04 1万+
本地连接Kafka提示连接被拒绝 修改config/server.properties配置文件，更改如下 把31行的注释去掉，listeners=PLAINTEXT://:9092 把36行的注释去掉，把advertised.listeners值改为PLAINTEXT://host_ip:9092（我的服务器ip是192.1683.45）...
记录 || 关于我的kafka启动终是显示拒绝连接的问题
weixin_57967436的博客
04-10 4819
这个问题困扰了我2个小时之久，搜索过网上的所有办法无解。 zkCli.sh -server测试zookeeper服务。 在通过测试zookeeper服务时zkCli.sh -server 127.0.0.1：2181:2181拒绝连接而zkCli.sh -server 127.0.0.1：2181:6000则可以正常连接。我想到了拒绝连接可能是由于我的端口未配置正确的原因： 我在zookeeper配置中为避免2181端口被占用的问题，我给zookeeper定义了一个端口号供它使用 clientPort
c++ kafka
最新发布
weixin_43803780的博客
07-13 603
请确保将上述代码中的 `localhost:9092` 替换为你实际的 Kafka 服务器地址。这两个示例展示了如何在 C++ 中使用 Kafka 进行消息的生产和消费。首先，你需要安装 Confluent 的 Kafka C++ 客户端。在 C++ 中使用 Kafka，通常我们会使用 Confluent 的 Kafka C++ 客户端库。下面我将给出一个简单的示例，展示如何使用这个库来创建一个生产者和一个消费者。// 创建一个生产者配置实例。// 等待所有消息发送完成。// 创建一个生产者实例。
kafka创建主题时循环报错 java.net.ConnectException: 拒绝连接...【已解决】
杨大仙
11-18 2635
今天犯了一个很低级的错误，导致循环报错：拒绝连接。报错信息如下： java.net.ConnectException: 拒绝连接 at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method) at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:717) at org.apache.zookeeper.ClientC
C语言实现kafka多线程,【转】c++（11）使用librdkafka库实现kafka的消费实例
weixin_30185907的博客
05-23 858
版权声明：本文为博主原创文章，遵循 CC 4.0 by-sa 版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn.net/lijinqi1987/article/details/76691170librdkafka在c语言的基础上封装了一层c++的API，可以实现kafka的消费操作，基本操作步骤如下1、创建kafka 配置RdKafka::Conf *conf...
使用librdkafka的C++接口实现简单的生产者和消费者
草上爬的博客
04-02 2万+
一.编译librdkafka 环境：Fedora 20，32位 依赖：pthreads（必选），zlib（可选），libssl-dev（可选），libsasl2-dev（可选） 先查看自己的linux上是否安装了pthreads，指令如下： # locate libpthread 因为我之前安过了，所以可以直接编译librdkafka，没有安的下个pthreads的源码——con
kafka调试中遇到Connection to node -1 could not be established. Broker may not be available.
01-02
kafka报错内容： WARN [Consumer clientId=consumer-1, ...举例来说，我在配置文件里配置的listeners=PLAINTEXT://10.127.96.151:9092，但是我想测试的时候请求的是./kafka-console-consumer.sh –bootstrap-serve
Python库 | kafka_connection_bdb-0.1.tar.gz
05-17
资源分类：Python库 所属语言：Python 资源全名：kafka_connection_bdb-0.1.tar.gz 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
win10系统下安装Kafka 的详细步骤
IT界的小菜比
03-30 2673
Win10 系统下要使用Kafka需要经过以下三个步骤： 1.安装JDK（需要安装依赖java JDK） 2.安装zookeeper（资源协调，分配管理） 3.安装Kafka 一、安装 Java SE Development Kit 13.0.1 下载地址：https://www.oracle.com/technetwork/java/javase/downloads/j...
Kafka报错连接超时:Timed out waiting for connection while in state: CONNECTING
weixin_48960305的博客
03-24 1万+
报错连接zookeeper超时 swhua@swhua:~/Desktop/kafka_2.13-2.7.0$ bin/kafka-topics.sh --create --zookeeper localhost:9092 --replication-factor 1 --partitions 1 --topic matchresult --config cleanup.policy=compact [2021-05-09 16:56:39,279] WARN Client session timed o
快速上手：学习如何使用C++实现kafka消费者客户端
Lion_Long的博客
12-01 3580
一、Kafka 消费者的逻辑。 二、Kafka 的C++ API。 三、Kafka 消费者客户端开发：必要的参数配置、订阅主题和分区、消息消费、完整示例代码。 四、位移提交：自动提交、手动提交、提交API。 五、消费Rebalance机制。
kafka集群磁盘满警告，新增kafka节点，重新分配partition
zzhongcy的专栏
07-03 4661
本文参考了网上部分文章，并进行了说明和归纳，详情请查看参考。 官方文档参考：https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools kafka环境中机器磁盘告警很容易出现，原因可能是某一个topic的partition为1(或者partition不足导致的)，只往一台机器上写数据，造成kafka集群空间使用不均。 下面主要使用kafka-topics.sh和kafka-reassign-partitions.s...
Kafka内部主题__consumer_offsets分析
m0_37135879的博客
12-01 2051
创建主题观察偏移量相关数据 [root@Linux122 bin]# kafka-topics.sh --zookeeper Linux122:2181/myKafka --create --topic tp_demo_06 --partitions 5 --replication-factor 1 WARNING: Due to limitations in metric names, topics with a period ('.') or underscore ('_') could collide
c++ kafka环境配置
TU_Dresden的博客
10-22 1939
本文主要介绍C++ Qt Ubuntu环境下卡夫卡的环境配置和基本收发，整理自@草上爬大神。原贴：https://blog.csdn.net/caoshangpa/article/details/79786100 非常感谢原作者。 kafka依赖安装 卡夫卡需要java才能运行，可安装openjdk11 sudo apt install openjdk-11-jdk 检查版本 java -version kafka安装和试运行 首先下载kafkahttp://kafka.apache.org/dow
使用librdkafka的C++接口实现Kafka生产者和消费者客户端
ArtAndLife的博客
10-06 6303
main_producer.cpp #include "producer_kafka.h" using namespace std; int main() { KafkaProducer producer(); sleep(5); for(int i = 0; i < 10; i++) { char msg[64] = {0}; sprintf(msg, "%s%4d", "Hello Kafka ", i); //msg = "
TCP/IP：连接服务器失败（错误原因：Connection refused）
热门推荐
test1280
06-10 28万+
TCP/IP：连接服务器失败（错误原因：Connection refused） Linux中，通过系统调用（system call） connect 连接指定服务器建立TCP连接。 connect 最常见的失败原因是 Connection refused。 假设服务器IP是192.168.44.148，且并 未有 进程监听端口是12500时： 若有TCP连接请求包到达192.16...
java 连接kafka报错 Connection refused: no further information
06-09
这个错误通常表示您的Java应用程序无法连接到Kafka集群。可能有多种原因导致这个问题，以下是一些可能的解决方法： 1. 检查Kafka集群是否正在运行。您可以使用命令行工具或Kafka Manager等UI工具来检查Kafka集群的状态。 2. 检查您的Java应用程序的Kafka连接参数是否正确。您需要确保您的应用程序正在连接到正确的Kafka节点，使用正确的端口和协议。 3. 检查您的防火墙设置。如果您的防火墙正在阻止Kafka流量，则可能会导致连接被拒绝。请检查您的防火墙设置以确保Kafka流量被允许通过。 4. 如果您使用的是SSL连接，请确保您的证书和密钥正确。如果证书或密钥不正确，则可能导致连接被拒绝。 5. 最后，您可以尝试重新启动Kafka集群和您的Java应用程序，以查看是否可以解决问题。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值