kafka
文章平均质量分 67
力不竭!!!战不止!!!
You just run, OK?
展开
-
kafka报错: (localhost/127.0.0.1:9092) could not be established. Broker may not be available.
具体报错:[Producer clientId=console-producer] Connection to node -1 (localhost/127.0.0.1:9092) could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)从上述结果来看,是报错和配置里面的地址有关系,只需要改用配置里的hostname启动就好了。之后输入数据回车报错。原创 2022-11-14 21:25:12 · 4708 阅读 · 0 评论 -
KAFKA架构重温
当消费者首次订阅时,有两种方式,latest和earliest,当设置为earliest时,如当前分区有已经提交的offset,从当前offset进行消费,若没有则从最后即最新产的生的数据进行消费; Topic是一类数据集的集合,其实就是一种record队列,每一个record中由一个offset(偏移量)记录读取和写入位置,每一个分区都是一个有序的持续的可追加的不可变record队列,并在kafka中以结构化日志文件commit log文件来存储的,且不管消息消费与否,都会有个默认的保留周期。原创 2021-07-23 23:29:01 · 9810 阅读 · 2 评论 -
kafka调优
kafka优化和相关问题Kafka的Message存储采用了分区(partition),分段(LogSegment)和稀疏索引这几个手段来达到了高效性。Kafka消息数据积压,Kafka消费能力不足怎么处理?1)如果是Kafka消费能力不足,则可以考虑增加Topic的分区数,并且同时提升消费组的消费者数量,消费者数=分区数。(两者缺一不可)2)如果是下游的数据处理不及时:提高每批次拉取的数量。批次拉取数据过少(拉取数据/处理时间<生产速度),使处理的数据小于生产的数据,也会造成数据积压。ka原创 2021-07-17 23:13:32 · 2942 阅读 · 4 评论