![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
KafkaMQ
文章平均质量分 94
frank1998819
这个作者很懒,什么都没留下…
展开
-
Kafka剖析(一):Kafka背景及架构介绍(转)
Kafka是由LinkedIn开发的一个分布式的消息系统,使用Scala编写,它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。InfoQ一直在紧密关注Kafka的应用以及发展,“Kafka剖析”专栏将会从架构设计、实现、应用场景、性能等方面深度解析Kafka。 背景介绍 Kafka创建背景 ...原创 2016-08-04 17:24:32 · 106 阅读 · 0 评论 -
Kafka设计解析(四):Kafka Consumer解析(转)
High Level Consumer 很多时候,客户程序只是希望从Kafka读取数据,不太关心消息offset的处理。同时也希望提供一些语义,例如同一条消息只被某一个Consumer消费(单播)或被所有Consumer消费(广播)。因此,Kafka High Level Consumer提供了一个从Kafka消费数据的高层抽象,从而屏蔽掉其中的细节并提供丰富的语义。 Consumer Gr...原创 2016-08-04 17:27:31 · 103 阅读 · 0 评论 -
Kafka设计解析(二):Kafka High Availability (上)(转)
Kafka在0.8以前的版本中,并不提供High Availablity机制,一旦一个或多个Broker宕机,则宕机期间其上所有Partition都无法继续提供服务。若该Broker永远不能再恢复,亦或磁盘故障,则其上数据将丢失。而Kafka的设计目标之一即是提供数据持久化,同时对于分布式系统来说,尤其当集群规模上升到一定程度后,一台或者多台机器宕机的可能性大大提高,对Failover要求非常高...原创 2016-08-04 17:28:09 · 89 阅读 · 0 评论 -
Kafka设计解析(三):Kafka High Availability (下)(转)
Kafka是由LinkedIn开发的一个分布式的消息系统,使用Scala编写,它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。InfoQ一直在紧密关注Kafka的应用以及发展,“Kafka剖析”专栏将会从架构设计、实现、应用场景、性能等方面深度解析Kafka。 本文在上篇文章基础上,更加深入讲...原创 2016-08-04 17:29:08 · 89 阅读 · 0 评论 -
Kafka设计解析(五):Kafka Benchmark(转)
性能测试及集群监控工具 Kafka提供了非常多有用的工具,如Kafka设计解析(三)- Kafka High Availability (下)中提到的运维类工具——Partition Reassign Tool,Preferred Replica Leader Election Tool,Replica Verification Tool,State Change Log Merge Tool...原创 2016-08-04 17:30:51 · 115 阅读 · 0 评论 -
Apache Kafka:下一代分布式消息系统(转)
Apache Kafka:下一代分布式消息系统 作者 Abhishek Sharma,译者 梅雪松 发布于 2014年6月12日 |注意:QCon全球软件开发大会(北京)2016年4月21-23日,了解更多详情! 5 讨论 分享到:微博微信FacebookTwitter有道云笔记邮件分享 稍后阅读 我的阅读清单 简介 Apache Kafka是分布式...原创 2016-03-21 09:26:42 · 89 阅读 · 0 评论 -
mmTrix大数据分析平台构建实录 (转)
http://www.iteye.com/news/31475 在数据分析中,有超过90%数据都是来自于非结构化数据,其中大部分的是日志,如运维、安全审计、用户访问数据以及业务数据等,但随着互联网快速的发展,数据规模也是水涨船高,从早前的GB级到现在的TB级,甚至PB级也只是短短几年光景。而移动互联网的时代到来,可以说每个人无时无刻不在产生数据,几乎成爆发式的增长。如此多的数据早已压榨完单机的...原创 2016-04-06 15:39:25 · 96 阅读 · 0 评论