Kafka
文章平均质量分 51
upupfeng
贵有恒,要坚持~~
展开
-
Kafka topic分区增加副本
Kafka中topic的每个分区可以设置多个副本。如果副本数为1,当该分区副本的leader节点宕机后,会导致该分区不可用。故需要设置多副本来保证可用性。实际项目中,存在项目初期创建了副本数为1的topic,但是后期又需要扩大副本数的场景。通常不能直接删除topic重建,可以通过如下操作实现。原创 2022-09-29 09:22:52 · 3863 阅读 · 1 评论 -
Kafka传输文件(字节数组)
使用Kafka以字节数组的形式传输文件最近遇到解析大量小文件的需求,之前都是将文件放到HDFS,然后读取进行解析。由于都是小文件且文件量很多,所以不想使用HDFS,于是采用Kafka来做中间件,效果还不错,特此分享。原理是将文件以字节流的形式读入字节数组中,将字节数组发送到Kafka,供下游消费。适用于海量小文件的处理。实现生产者package com.upupfeng.kafka;import org.apache.kafka.clients.producer.KafkaProduc.原创 2022-04-24 21:01:55 · 7075 阅读 · 0 评论 -
Kafka命令行常用操作
创建topickafka-topics --zookeeper mdw:2181,sdw1:2181,sdw3:2181 --create --replication-factor 1 --partitions 12 --topic test_ck_sync1查看所有topickafka-topics --zookeeper mdw:2181,sdw1:2181,sdw3:2181 --list删除topickafka-topics --zookeeper mdw:2181,sdw1:2181,原创 2021-05-14 14:35:05 · 442 阅读 · 0 评论