消息队列
文章平均质量分 88
铁猴
热爱Java,热爱大数据,热爱技术!
展开
-
Kafka学习之:Kafka背景及架构介绍
转载自:http://www.infoq.com/cn/articles/kafka-analysis-part-1Kafka是由LinkedIn开发的一个分布式的消息系统,使用Scala编写,它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。InfoQ一直在紧密关注Kafka的转载 2015-03-11 17:31:47 · 3550 阅读 · 1 评论 -
Kafka学习之:Centos 下Kafka集群的安装
kafka是LinkedIn开发并开源的一个分布式MQ系统,现在是Apache的一个孵化项目。在它的主页描述kafka为一个高吞吐量的分布式(能将消息分散到不同的节点上)MQ。在这片博文中,作者简单提到了开发kafka而不选择已有MQ系统的原因。两个原因:性能和扩展性。Kafka仅仅由7000行Scala编写,据了解,Kafka每秒可以生产约25万消息(50 MB),每秒处理55万消息(110原创 2015-03-11 17:44:44 · 4736 阅读 · 0 评论 -
kafka manager安装
转载自:http://hengyunabc.github.io/kafka-manager-install/项目信息https://github.com/yahoo/kafka-manager这个项目比 https://github.com/claudemamo/kafka-web-console 要好用一些,显示的信息更加丰富,kafka-manager本身可以是一个集群。不转载 2015-03-12 13:42:00 · 1436 阅读 · 0 评论 -
设计Kafka的High Level Consumer
原文:https://cwiki.apache.org/confluence/display/KAFKA/Consumer+Group+Example为什么使用High Level Consumer在某些应用场景,我们希望通过多线程读取消息,而我们并不关心从Kafka消费消息的顺序,我们仅仅关心数据能被消费就行。High Level 就是用于抽象这类消费动作的。消息消费已C翻译 2015-03-13 16:35:52 · 3262 阅读 · 0 评论 -
Kafka知识点汇总
Kafka相关的文章比较多,且比较杂乱,如果都看完可能需要比较多的时间,本文对相关的关键知识点做一个总结,便于查阅原创 2015-03-13 16:55:01 · 4362 阅读 · 0 评论 -
使用Python开发Kafka消息生产者
安装Kafka-Python下载Kafka-Python压缩包从https://github.com/mumrah/kafka-python/releases中下载最新的release包,此时最新的包为kafka-python-0.9.3.tar.gz 编译安装$tar -xvf kafka-python-0.9.3.tar.gz$cd kafk原创 2015-03-25 17:46:42 · 19539 阅读 · 2 评论 -
使用JMX监控Kafka
Kafka可以配置使用JMX进行运行状态的监控,既可以通过JDK自带Jconsole来观察结果,也可以通过Java API的方式来.关于监控指标的描述,可以参考:http://kafka.apache.org/documentation.html#monitoring开启JMX端口修改bin/kafka-server-start.sh,添加JMX_PORT参数,添加后样原创 2015-04-10 15:43:31 · 21488 阅读 · 11 评论 -
分布式发布订阅消息系统 Kafka 架构设计 - 目前见到的最好的Kafka中文文章
转自:http://www.oschina.net/translate/kafka-design参与翻译(4人):fbm, 飞翔的猴子, Khiyuan, nesteaa感谢这些同志们的辛勤工作,翻译的真不错,目前见到的最好的Kafka中文文章-------------------------------我们为什么要搭建该系统Kafka是转载 2015-05-09 14:16:06 · 1478 阅读 · 0 评论 -
Zookeeper在Kafka中的应用
Kafka介绍Kafka的介绍可参考:http://blog.csdn.net/eric_sunah/article/details/44201711Zookeeper在Kafka中的使用从上面的介绍可以看出Kafka是一个分布式的消息系统,分布式主要体现在Producer,Broker,Consumer的分布式,下面章节主要讲解Zookeeper如何支持相关对原创 2015-07-15 13:30:18 · 9853 阅读 · 0 评论