Kafka
小菜菜1223
qq846792646
展开
-
面试准备(六) Kafka
一、Kafka概述 Kafka是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统,常见用于web/nginx日志、访问日志,消息服务等。 Kafka的设计目标如下: 1、以时间复杂度为O(1)的方式提供消息持久化能力,即使对TB级以上数据也能保持常数时间的访问性能。 2、高吞吐率。即使在非常廉价的商用机器上也能做到单机支持没鸟100000条消息的传输。 3、支持Kafka Server间的消费分区以及分布式消费,同时能保证每个par...原创 2021-07-01 15:36:58 · 227 阅读 · 0 评论 -
python 连接kafka kafka.errors.NoBrokersAvailable: NoBrokersAvailable
今天搭建单机kafka报错kafka.errors.NoBrokersAvailable: NoBrokersAvailable这里我们打开配置文件/usr/local/etc/kafka/server.properties打开并修改配置:# returned from java.net.InetAddress.getCanonicalHostName().advertised.listeners=PLAINTEXT://127.0.0.1:9092保存退出运行jps杀掉kafk..原创 2021-04-22 10:31:08 · 2540 阅读 · 0 评论 -
python kafka生产与消费
消费者:from kafka import KafkaConsumerconsumer=KafkaConsumer(bootstrap_servers= ['192.168.0.0','192.168.0.1','192.168.0.2'],group_id='test',auto_offset_reset='earliest') #连接kafka的集群(可以不是集群),以及定义gro...原创 2018-05-02 14:42:16 · 590 阅读 · 0 评论 -
Kafka 消费消息回滚以及linux查询GroupId消费情况
用相同的GroupId消费已经消费过的信息,可以进行回滚。import timeimport redisimport jsonimport mathimport Queueimport osdef cont(t): time_local = time.localtime(t) dt = time.strftime("%Y-%m-%d %H:%M:%S",time...原创 2018-07-05 17:01:11 · 3939 阅读 · 0 评论