Kafka
文章平均质量分 80
IT-LeoChen
广告播放系统、实时计算、Java、Lua
展开
-
Kafka分布式消息发布和订阅系统简介
在kafka官网上对kafka的定义叫:A distributed publish-subscribe messaging system。publish-subscribe是发布和订阅的意思,所以更准确的说kafka是一个消息订阅和发布的系统。publish-subscribe这个概念很重要,因为kafka的设计理念就可以从这里说起。Kafka有哪些吸引程序员去使用的特点:在A原创 2013-12-21 00:08:43 · 2509 阅读 · 0 评论 -
kafka Replication tools
Pages IndexReplication toolsSkip to end of metadataAdded by Sriram Subramanian, last edited by Neha Narkhede on Sep 18, 2013 (view change)show commentGo to转载 2014-01-06 23:00:43 · 1432 阅读 · 0 评论 -
Kafka-0.8.0单机配置安装
Kafka是一个高吞吐量分布式消息系统。linkedin开源的kafka。 Kafka就跟这个名字一样,设计非常独特。首先,kafka的开发者们认为不需要在内存里缓存什么数据,操作系统的文件缓存已经足够完善和强大,只要你不搞随机写,顺序读写的性能是非常高效的。kafka的数据只会顺序append,数据的删除策略是累积到一定程度或者超过一定时间再删除。Kafka另一个独特的地方是将消费者信息保存在客原创 2013-12-20 17:58:14 · 3540 阅读 · 1 评论 -
Kafka-broker配置说明
配置文件在config/server.properties下面的一些配置可能是你需要进行修改的。broker.id 整数,建议根据ip区分 log.dirs kafka存放消息文件的路径, 默认/tmp/kafka-logs port broker用于接收producer消息的端口zookeeper.connnect zookeeper连接 格式为 ip1:port,ip2:port原创 2014-01-21 15:48:07 · 20500 阅读 · 0 评论 -
Kafka命令行常用命令说明
基于0.8.0版本。##查看topic分布情况kafka-list-topic.shbin/kafka-list-topic.sh --zookeeper 192.168.197.170:2181,192.168.197.171:2181 (列出所有topic的分区情况)bin/kafka-list-topic.sh --zookeeper 192.168.197.170:2181原创 2014-01-17 14:46:37 · 31377 阅读 · 2 评论 -
Kafka核心思想
Kafka是2010年12月份开源的项目,采用scala语言编写,使用了多种效率优化机制,整体架构比较新颖(push/pull),更适合异构集群。设计目标:(1) 数据在磁盘上的存取代价为O(1)(2) 高吞吐率,在普通的服务器上每秒也能处理几十万条消息(3) 分布式架构,能够对消息分区(4) 支持将数据并行的加载到hadoop架构:Kafk原创 2014-01-16 11:04:50 · 6477 阅读 · 0 评论 -
Kafka0.8.0集群构建
最近要做实时计算相关的东西,目前每天约100G日志,还在不断增长,高峰时一天400G日志。考虑过flume+activemq+storm+redis+hadoop, 考虑用kafka做mq的备用方案。我这里用了公司的三台机器192.168.197.170192.168.197.171192.168.197.172原创 2013-12-20 20:46:19 · 4761 阅读 · 0 评论 -
Kafka Producer同步模式发送message源码分析
先把几个比较重要的方法列出来// 入口,处理 message及messages def handle(events: Seq[KeyedMessage[K,V]])//处理序列化的KeyedMessage数据 private def dispatchSerializedData(messages: Seq[KeyedMessage[K,Message]]): Seq[Key原创 2014-02-25 18:45:18 · 15825 阅读 · 0 评论