kafka
文章平均质量分 87
test_soy
健谈,开朗,喜欢研究
展开
-
Kafka安装配置测试
Kafka的整体架构:本文中的配置:在两台机器Node1和Node2上,分别部署了两个broker,Zookeeper使用的是单独的ZK集群。在每个机器上下载并解压kafka_2.10-0.8.2.1http://kafka.apache.org/downloads.htmlKafka配置Node1:ip为 172.16.21转载 2017-10-17 15:20:19 · 375 阅读 · 0 评论 -
Kafka主要参数详解
系统参数#唯一标识在集群中的ID,要求是正数。broker.id=0#服务端口,默认9092port=9092#监听地址host.name=debugo01# 处理网络请求的最大线程数num.network.threads=2# 处理磁盘I/O的线程数num.io.threads=8# 一些后台线程数background.threads =原创 2017-10-17 15:21:19 · 395 阅读 · 0 评论 -
Kafka架构和原理深度剖析
背景介绍Kafka简介Kafka是一种分布式的,基于发布/订阅的消息系统。主要设计目标如下:以时间复杂度为O(1)的方式提供消息持久化能力,并保证即使对TB级以上数据也能保证常数时间的访问性能高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输支持Kafka Server间的消息分区,及分布式消息消费,同时保证每个partition内的消息顺序传输同转载 2017-10-17 15:22:28 · 582 阅读 · 0 评论