kafka
DreamWeaver_Zhou
生活如此多娇!
展开
-
kafka修改Topic副本数和分区数
一 .修改Kafka Topic副本数1.bin/kafka-topics.sh --zookeeper 172.18.163.203:2181,172.18.163.204:2181,172.18.163.205:2181 --create --partitions 5 --replication-factor 3 --topic test01 ##新建测试topic test01...原创 2019-11-26 17:07:20 · 10980 阅读 · 0 评论 -
kafka修改分区和副本数
kafka修改分区和副本数查看现在副本分配情况../bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --describe --topic test1Topic:test1 PartitionCount:3 ReplicationFactor:2 Configs: Topic: test1...转载 2019-11-26 14:27:43 · 1135 阅读 · 1 评论 -
Kafka集群扩容及数据转移
最近我们生产环境的kafka集群有增加节点的需求,然而kafka在新增节点后并不会像elasticsearch那样感知到新节点加入后自动将数据reblance到新集群中,因此这个过程需要我们手动分配。一番折腾之后,实现了增加kafka集群节点并将原有数据均匀分配到扩容后的集群。下面结合一个例子谈一下整个过程。一. 环境说明1.假定当前的cluster中只有(0,1,2)三个kafka节点,...原创 2019-10-12 15:28:01 · 3235 阅读 · 0 评论 -
Kafka处理大文件出现内存溢出 java.lang.OutOfMemoryError: Direct buffer memory
这篇文章是我在粗略学习kafka时遇到的问题和网上查阅过的资料。kafka和java我都不是很熟悉,只知道基本的概念。文章中可能有疏漏和错误的地方,大家参考一下就好。有错误拜托大家指正!broker端配置文件需要配置的参数message.max.bytes : kafka 会接收单个消息size的最大限制, 默认为1M左右。如果producer发送比这个大的消息,kafka默认会丢掉。p...原创 2019-09-27 13:42:27 · 9165 阅读 · 0 评论