Kafka技术资料汇编

Kafka 0.8.0刚刚发布,新版本主要改进包括:

更多技术细节请参考版本说明及其中的链接。

Apache Kafka是源自LinkedIn的一种分布式日志服务,主要用Scala语言开发(少量Java),其实质是高吞吐量而功能简单的消息队列。由于架构设计独特,Kafka与传统消息队列相比,内置分区、复制和容错功能,适合大规模系统。曾有数据表明,Kafka能够每秒发布超过40万条消息。

Kafka的概念架构图如下:

http://kafka.apache.org/images/producer_consumer.png

详细的架构设计说明可以参考资料汇集,开源中国上fbm同学做了资料汇集(很长,质量不错)。

目前Kafka已经被众多互联网公司如Twitter、Pinterest、Netflix、Tumblr、Foursquare、Square、StumbleUpon、Coursera等广泛应用。

主要使用场景包括:消息处理、活动流跟踪、运营数据监测、日志聚合、流处理(与Storm配合)等。(参见文档

类似的开源项目还有Facebook的Scribe,Yahoo的Chukwa,Cloudera的Flume,董西成做过比较

Kafka的开发团队目前还是主要以LinkedIn的工程师为主,包括漂亮的女工程师Neha Narkhede、清华1994届的饶军等,但也出现了LucidWorks的David Arthur和加拿大的Prashanth Menon等外部核心开发者。

不知道国内有哪些生产环境的应用?

技术资料

via Hacker NewsIDG的相关报道

阅读更多
想对作者说点什么? 我来说一句

模拟电路技术资料汇编

2009年09月06日 4.03MB 下载

全国农产品成本收益资料汇编2017

2018年04月16日 71.74MB 下载

新中国60年统计资料汇编

2018年03月29日 8.08MB 下载

新中国农业60年统计资料完整版.pdf

2018年01月09日 97.67MB 下载

HP存储技术资料汇编

2008年10月27日 286KB 下载

总线资料汇编 handbook

2008年10月04日 11.02MB 下载

没有更多推荐了,返回首页

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭