kafka
文章平均质量分 79
chuanzhongdu1
这个作者很懒,什么都没留下…
展开
-
kafka0.9 topic level参数
broker级别的参数可以由topic级别的覆写,不是所有的broker参数在topic级别都有对应值覆写方法 可以在创建或创建后由--config修改创建时> bin/kafka-topics.sh --zookeeper localhost:2181 --create --topic my-topic --partitions 1 --repl原创 2016-03-10 20:01:50 · 1641 阅读 · 0 评论 -
kafka0.9 producer与consumer参数
bootstrap.servers kafka集群节点列表格式;host1:port1,host2:port2key.serializer key序列化类型 value.serializer value序列化类型 acks producer需要等待leader响应数量 0不需要等待应答,1代表leader成功写入本地log但不等待follow,-1代表等待insyn原创 2016-03-11 09:39:18 · 2318 阅读 · 0 评论 -
kafka 0.9 broker 参数
zookeeper.connect zookeper所在机器可多个逗号分隔auto.create.topics.enable 自动创建topicauto.leader.rebalance.enable leader 当一个broker恢复,这个broker只会存储复本,这意味着它不会参与任何读写,造成了集群的不平衡,开启,kafka自动做balancebackgro原创 2016-03-10 14:46:01 · 1488 阅读 · 0 评论 -
kafka性能与资源考虑
Partitions and Memory Usagereplica.fetch.max.bytes 每个partition都分配一个buffer给replica,如果分配1M,如果有1000个partition就需要1G的内存需求考虑有充足的内存fetch.message.max.bytes同样的考虑也适用于consumer,对于大文件需要确保有充足的内存接收,大文件可能翻译 2016-04-13 15:08:49 · 2828 阅读 · 0 评论 -
kafka connect
kafka connect是一个kafka与其他系统进行数据流交换的可扩展并且高可用的工具它可以简单定义connect将大的数据集放入kafka,比如它可以低延迟的将数据库或者应用服务器中的metrics数据放入kafka topic导出job将kafka topic数据到另外的存储系统或查询系统或者离线系统进行批量处理kafka connect包括以下特点翻译 2016-05-11 10:56:33 · 10260 阅读 · 0 评论 -
kafka 新功能
0.10.0kafka streamingreplica 机架感知message增加timestamp增加kafka connect rest api增加max.poll.records参数兼容不同版 本协议producer与consumer增加interceptor功能增加exclude.internal.topics参数 0.10.1增加基于time...原创 2018-08-23 14:39:36 · 1153 阅读 · 0 评论