end's coding life

赤子之心

为什么kafka使用磁盘而不是内存

Kafka最核心的思想是使用磁盘,而不是使用内存,可能所有人都会认为,内存的速度一定比磁盘快,我也不例外。在看了Kafka的设计思想,查阅了相应资料再加上自己的测试后,发现磁盘的顺序读写速度和内存持平。 而且Linux对于磁盘的读写优化也比较多,包括read-ahead和write-behind...

2016-05-13 10:07:26

阅读数:3454

评论数:0

Kafka的NIO通信机制

一、Kafka通信机制的整体结构 74EACA88-8B9D-45F8-B7BF-202D658205A9.png 这个图采用的就是我们之前提到的SEDA多线程模型,链接如下: http://www.jianshu.com/p/e184fdc0ade4 1、对于broker来说,客户端连接数...

2016-05-11 10:05:51

阅读数:3064

评论数:0

Kafka设计解析(五)- Kafka性能测试方法及Benchmark报告

摘要   本文主要介绍了如何利用Kafka自带的性能测试脚本及Kafka Manager测试Kafka的性能,以及如何使用Kafka Manager监控Kafka的工作状态,最后给出了Kafka的性能测试报告。 性能测试及集群监控工具   Kafka提供了非常多有用的工具,如Ka...

2016-05-10 17:40:58

阅读数:1862

评论数:0

Kafka设计解析(四)- Kafka Consumer设计解析

摘要   本文主要介绍了Kafka High Level Consumer,Consumer Group,Consumer Rebalance,Low Level Consumer实现的语义,以及适用场景。以及未来版本中对High Level Consumer的重新设计–使用Consumer...

2016-05-10 17:40:33

阅读数:1617

评论数:0

Kafka设计解析(三)- Kafka High Availability (下)

摘要   本文在上篇文章基础上,更加深入讲解了Kafka的HA机制,主要阐述了HA相关各种场景,如Broker failover,Controller failover,Topic创建/删除,Broker启动,Follower从Leader fetch数据等详细处理过程。同时介绍了Kafka...

2016-05-10 17:39:58

阅读数:1486

评论数:0

Kafka设计解析(二)- Kafka High Availability (上)

摘要   Kafka在0.8以前的版本中,并不提供High Availablity机制,一旦一个或多个Broker宕机,则宕机期间其上所有Partition都无法继续提供服务。若该Broker永远不能再恢复,亦或磁盘故障,则其上数据将丢失。而Kafka的设计目标之一即是提供数据持久化,同时对...

2016-05-10 17:39:23

阅读数:1175

评论数:0

Kafka设计解析(一)- Kafka背景及架构介绍

摘要   Kafka是由LinkedIn开发并开源的分布式消息系统,因其分布式及高吞吐率而被广泛使用,现已与Cloudera Hadoop,Apache Storm,Apache Spark集成。本文介绍了Kafka的创建背景,设计目标,使用消息系统的优势以及目前流行的消息系统对比。并介绍了...

2016-05-10 17:38:34

阅读数:1259

评论数:0

Kafka特性介绍

==是什么 ==   简单的说,Kafka是由Linkedin开发的一个分布式的消息队列系统(Message Queue)   目标Scope(解决什么问题)   kafka开发的主要初衷目标是构建一个用来处理海量日志,用户行为和网站运营统计等的数据处理框架...

2016-04-16 16:03:25

阅读数:869

评论数:0

Kafka工作原理

消息队列 消息队列技术是分布式应用间交换信息的一种技术。消息队列可驻留在内存或磁盘上, 队列存储消息直到它们被应用程序读走。通过消息队列,应用程序可独立地执行--它们不需要知道彼此的位置、或在继续执行前不需要等待接收程序接收此消息。在分布式计算环境中,为了集成分布式应用,开发者需要对异构网络环境...

2016-04-16 15:51:50

阅读数:7273

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭