运维篇
晒酷网-Ray
这个作者很懒,什么都没留下…
展开
-
Kafka High Availability (下)
摘要 本文在上篇文章基础上,更加深入讲解了Kafka的HA机制,主要阐述了HA相关各种场景,如Broker failover,Controller failover,Topic创建/删除,Broker启动,Follower从Leader fetch数据等详细处理过程。同时介绍了Kafka提供的与Replication相关的工具,如重新分配Partition等。 Broker Fai转载 2018-01-22 18:42:26 · 205 阅读 · 0 评论 -
Kafka背景及架构介绍
摘要 Kafka是由LinkedIn开发并开源的分布式消息系统,因其分布式及高吞吐率而被广泛使用,现已与Cloudera Hadoop,Apache Storm,Apache Spark集成。本文介绍了Kafka的创建背景,设计目标,使用消息系统的优势以及目前流行的消息系统对比。并介绍了Kafka的架构,Producer消息路由,Consumer Group以及由其实现的不同消息分发方式转载 2018-01-16 15:32:47 · 262 阅读 · 0 评论 -
Kafka Consumer设计解析
摘要 本文主要介绍了Kafka High Level Consumer,Consumer Group,Consumer Rebalance,Low Level Consumer实现的语义,以及适用场景。以及未来版本中对High Level Consumer的重新设计–使用Consumer Coordinator解决Split Brain和Herd等问题。 High Level Co转载 2018-02-01 17:16:14 · 465 阅读 · 0 评论 -
Kafka设计解析(二)- Kafka High Availability (上)
摘要 Kafka在0.8以前的版本中,并不提供High Availablity机制,一旦一个或多个Broker宕机,则宕机期间其上所有Partition都无法继续提供服务。若该Broker永远不能再恢复,亦或磁盘故障,则其上数据将丢失。而Kafka的设计目标之一即是提供数据持久化,同时对于分布式系统来说,尤其当集群规模上升到一定程度后,一台或者多台机器宕机的可能性大大提高,对于Failover机转载 2018-01-19 15:11:39 · 194 阅读 · 0 评论 -
Kafka性能测试方法及Benchmark报告
点击链接加入群【悦分享测试联盟】:https://jq.qq.com/?_wv=1027&k=5DiePik 摘要 本文主要介绍了如何利用Kafka自带的性能测试脚本及Kafka Manager测试Kafka的性能,以及如何使用Kafka Manager监控Kafka的工作状态,最后给出了Kafka的性能测试报告。 性能测试及集群监控工具 Kafka提供了非常多转载 2018-02-06 17:46:25 · 850 阅读 · 0 评论 -
Kafka高性能架构之道
点击链接加入群【悦分享测试联盟】:https://jq.qq.com/?_wv=1027&k=5DiePik摘要上一篇文章《Kafka设计解析(五)- Kafka性能测试方法及Benchmark报告》从测试角度说明了Kafka的性能。本文从宏观架构层面和具体实现层面分析了Kafka如何实现高性能。宏观架构层面利用Partition实现并行处理Partition提供并行处理的能力Kafka是...转载 2018-02-27 19:52:44 · 399 阅读 · 0 评论