Kafka架构设计
Dreamer who
=== Happiness isn't something you experience; it's something you remember.
展开
-
分布式发布订阅消息系统 Kafka 架构设计---1
英文原文:Kafka Architecture Design标签: Kafka250人收藏此文章, 我要收藏帝都老白 推荐于 2 年 前 (共 48 段, 翻译完成于 03-08) (14评) 参与翻译(4人):fbm, CodingKu, Khiyuan, nesteaa仅中文 | 中英文对照 | 仅英文 | 打印此文章转载 2014-10-26 21:07:11 · 1096 阅读 · 0 评论 -
Jafka源码阅读之Producer
Jafka源码阅读之Producer作者: rockybean 时间: August 14, 2012 分类: 源码解析本文笔者会尝试给大家讲解producer的源码脉络,希望对大家有所帮助。在讲解producer使用的文章中,有如下代码,我们就从这里开始。Properties props = new Properties();//指明获取发送地点的地址pr转载 2014-10-28 22:16:58 · 1977 阅读 · 0 评论 -
Jafka分布式特性研究
Jafka分布式特性研究作者: rockybean 时间: August 20, 2012 分类: 源码解析通过前面几篇文章,相信大家已经对jafka的使用和其源码结构有了一定的了解,接下来笔者将尝试去向大家讲解jafka是如何实现其分布式特性的。所谓分布式,在jafka就是producer broker和consumer都是可以分布在多台机器上运行的。当然,produ转载 2014-10-28 22:15:26 · 1581 阅读 · 0 评论 -
Consumer使用示例与配置简要说明
作者: rockybean 时间: July 24, 2012 分类: 源码解析通过上一篇文章的介绍,相信大家都已经掌握了使用Producer发送消息的方式,消息已经有了,那接下来就是如何消费了。在讲解如何消费前,首先要和大家说明一下Jafka对消息的存储格式,因为消费消息时某些方法需要使用者明了消息的存储格式。上一篇文章中Producer发送消息时要指定topic名称,并且用转载 2014-10-28 23:47:12 · 2991 阅读 · 0 评论 -
Kafka实现细节(上)
如果你第一次看kafka的文章,请先看《分布式消息系统kafka初步》之前有人问kafka和一般的MQ之间的区别,这个问题挺难回答,我觉得不如从kafka的实现原理来分析更为透彻,这篇将依据官网上给出的design来详细的分析,kafka是如何实现其高性能、高吞吐的。这一段应该会挺长的我想分两篇来写。今天这一篇主要从宏观上说kafka实现的细节,下一篇,在从具体的技术上去分析。转载 2014-10-28 22:07:19 · 946 阅读 · 0 评论 -
Jafka源码粗略解读之一
发表于1 年 前(2013-08-14 08:33) 阅读(744) | 评论(0) 12人收藏此文章, 我要收藏赞2Jafka mq目录[-]相关资料包结构相关资料Jafka是sohu的adyliu开源的Kafka的完整Java实现(Kafka本身是用Scala的)。没有学习Scala的计划,又想研究研究MQ转载 2014-10-28 21:46:40 · 1120 阅读 · 0 评论 -
分布式消息系统研究报告之Kafka
最近在看消息系统方面的东西。作为一个实践主义者,在看消息系统的各种实现时,不妨先粗略思考一下如何设计一个消息系统。我总觉出来有这么几个点(比较粗陋,以后继续补充):队列的存储和管理用什么方式存储消息决定了这个消息系统的最终表现。push还是pullproducer没啥好说的,肯定是push,这里主要说consumer,pull的好处是可以根据cons转载 2014-10-28 21:42:58 · 932 阅读 · 0 评论 -
Kafka实现细节(下)
发表于2 年 前(2012-12-09 12:50) 阅读(2332) | 评论(0) 14人收藏此文章, 我要收藏赞4kafka在这一篇,我想主要写点儿kafka的存储,以及对前文kafka的分布式一些补充,kafka的应用中,分布式使用是一个很关键的主题,更好的理解producer、broker和consumer的分布式构建有利于提高系统整体的性转载 2014-10-28 22:05:47 · 908 阅读 · 0 评论 -
Jafka源码阅读之Consumer
Jafka源码阅读之Consumer作者: rockybean 时间: August 15, 2012 分类: 源码解析本文将介绍Jafka中Consumer的源码框架,在之前consumer的使用教程中已经讲过,消息消费有同步和异步两种方式,我们针对这两种方式分别讲解其源码实现。同步消费源码实现同步消费的代码如下:SimpleConsumer cons转载 2014-10-28 22:15:55 · 1868 阅读 · 0 评论 -
Kafka for uSwitch's Event Pipeline
Kafka for uSwitch's Event PipelineKafka is a high-throughput, persistent, distributed messaging system that was originally developed at LinkedIn. It forms the backbone of uSwitch.com’s new data转载 2015-08-02 10:21:51 · 899 阅读 · 0 评论