kafka
猫瑾
作者转行回家养猪,可能不再更新。
展开
-
Linux下kafka “踩坑”记录--kafka.ZooKeeperClientTimeoutException: Timed out waiting for connection while in
kafka默认端口号9092,但是ZooKeeper默认端口号是2181如图错误:创建和更改主题分区时报错:kafka.zookeeper.ZooKeeperClientTimeoutException: Timed out waiting for connection while in state: CONNECTING查看配置文件server.properties中的ZK部分发现,ZK默认端口号指定是2181然而我把kafka的默认端口号9092当成ZK的去用,所以报错,新手问题。。。原创 2020-06-30 16:07:27 · 2742 阅读 · 0 评论 -
C语言 librdkafka 简单分析生产、消费的实例
生产#include <stdio.h>#include <signal.h>#include <string.h>#include <librdkafka/rdkafka.h>static volatile sig_atomic_t run = 1;/** * @brief Signal termination of program */static void stop (int sig) { run = 0; fclo原创 2020-05-29 13:49:20 · 1364 阅读 · 0 评论 -
kafka突然出现 /bootstrap: Failed to create socket: Too many open files
在给kafka程序做高并发压力测试时突然出现这个,找了下原因,发现是Linux的文件句柄问题。在Linux中是有文件句柄(open files)限制的一般来说Linux默认是1024,在高并发服务器还蛮容易达到这个量级。稍微改一下句柄的数量就好了命令:ulimit -a 执行:ulimit -n 数量 修改句柄注:最大值为655350llw@ubuntu:~/kafka$ ulimit -n 102400llw@ubuntu:~/kafka$ ulimit -a之后就不会出现原创 2020-05-28 16:55:08 · 1175 阅读 · 0 评论 -
Linux 安装kafka的库librdkafka
1、从GitHub上获取git clone https://github.com/edenhill/librdkafka.git2、进入目录,cd librdkafka/sudo ./configuresudo makesudo make install安装完后的目录结构在src目录下有很多文件,.c、.h、.o,证明是编译过了的。其中rdkafka.h会用到,编译自己的程序的时候链到这个库 -lrdkafka++然后查看下/usr/local/include/、/usr/loc原创 2020-05-26 17:45:00 · 3020 阅读 · 1 评论 -
Linux下的kafka终端发送、接收消息(生产、消费模式)
新接触kafka,学习记录下。producer 消息的生成者,即发布消息consumer 消息的消费者,即订阅消息broker Kafka以集群的方式运行,可以由一个或多个服务组成,服务即brokerzookeeper 协调转发1、# 启动 Zookeeper./bin/zookeeper-server-start.sh config/zookeeper.properties 2、 启动 Kafka./bin/kafka-server-start.sh config/原创 2020-05-25 16:16:09 · 8466 阅读 · 2 评论