分布式的消息队列系统——Kafka

原创 2015年11月20日 23:15:03

      Kafka是由Linkedin开发的一个分布式的消息队列系统(Message Queue),开发的主要初衷目标是构建一个用来处理海量日志,用户行为和网站运营统计等的数据处理框架。在结合了数据挖掘,行为分析,运营监控等需求的情况下,需要能够满足各种实时在线和批量离线处理应用场合对低延迟和批量吞吐性能的要求。简言之,kafka试图提供一个同时满足在线和离线处理海量数据的消息派发系统。

    几篇介绍较为详细的文章:

     (1)http://www.aboutyun.com/thread-12882-1-1.html

     (2)http://www.cnblogs.com/likehua/p/3999538.html

     (3)http://www.infoq.com/cn/articles/kafka-analysis-part-1/

     (4)http://blog.csdn.net/colorant/article/details/12081909

版权声明:

相关文章推荐

分布式消息队列(Message Queue)系统:kafka扫盲

分布式系统很重要的一个设计原则是松耦合,即尽量减少子系统间的依赖。这样各个子系统可以相互独立的进行演进,维护,重用等。Message Queue (MQ)是一种很好的解耦手段。要了解MQ在系统整合中的...
  • jdbc
  • jdbc
  • 2014-10-01 12:01
  • 1335

分布式消息队列(Message Queue)系统:kafka

分布式系统很重要的一个设计原则是松耦合,即尽量减少子系统间的依赖。这样各个子系统可以相互独立的进行演进,维护,重用等。Message Queue (MQ)是一种很好的解耦手段。要了解MQ在系统整合中的...

java后端系统架构之消息队列篇:kafka的实验

分布式队列kafka
  • wh0426
  • wh0426
  • 2015-04-09 09:35
  • 1646

Linux系统编程——进程间通信:消息队列

概述 消息队列提供了一种在两个不相关的进程之间传递数据的简单高效的方法,其特点如下: 1)消息队列可以实现消息的随机查询。消息不一定要以先进先出的次序读取,编程时可以按消息的类型读取。...

我的工具集1——集中删除系统中的消息队列

我的工具集1——集中删除系统中的消息队列最近看到一个说法——不做任何超过90秒的工作。这真是偷懒达到一定境界了。不过其实很有道理,程序员嘛,就是要做些东西可以让大家偷懒,解放生产力。而第一个享用着当然...

消息队列——message

spark实时计算kafka消息队列中的wordcount

package sparkTestJava; import java.util.Arrays; import java.util.HashMap; import java.util.HashSet;...

kafka分布式消息队列----安装篇

本文主要翻译自官网安装部分,并配上
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)