kafka
whjcsdnwhj
这个作者很懒,什么都没留下…
展开
-
Kafka设计解析(五)- Kafka性能测试方法及Benchmark报告
Kafka设计解析(五)- Kafka性能测试方法及Benchmark报告本文详细阐述了Kafka的性能测试方法,并全面展示了Kafka各组件的性能测试报告。原创文章,转载请务必将下面这段话置于文章开头处。(已授权InfoQ中文站发布)本文转发自技术世界,原文链接 http://www.jasongj.com/2015/12/31/KafkaColumn5_kafk转载 2017-09-10 23:34:26 · 288 阅读 · 0 评论 -
KafkaOffsetMonitor:监控消费者和延迟的队列
转载至 : http://orchome.com/54一个小应用程序来监视kafka消费者的进度和它们的延迟的队列。KafkaOffsetMonitor是用来实时监控Kafka集群中的consumer以及在队列中的位置(偏移量)。你可以查看当前的消费者组,每个topic队列的所有partition的消费情况。可以很快地知道每个partition中的消息是否很快被消费转载 2017-10-18 22:24:37 · 936 阅读 · 0 评论 -
KafkaOffsetMonitor安装部署
1.概述 前面给大家介绍了Kafka的背景以及一些应用场景,并附带上演示了Kafka的简单示例。然后,在开发的过程当中,我们会发现一些问题,那就是消息的监控情况。虽然,在启动Kafka的相关服务后,我们生产消息和消费消息会在终端控制台显示这些记录信息,但是,这样始终不够友好,而且,在实际开发中,我们不会有权限去一直观看终端控制台,那么今天就为大家来介绍Kafka的一个监控系统——KafkaO转载 2017-09-24 21:54:18 · 608 阅读 · 0 评论 -
kafka性能基准测试
kafka性能基准测试转载请注明出处:http://www.cnblogs.com/xiaodf/1、测试环境该benchmark用到了六台机器,机器配置如下l IntelXeon 2.5 GHz processor with six coresl Six7200 RPM SATA drivesl 32GB ofRAMl 1GbEthernet这6台机器其中转载 2017-09-24 21:52:43 · 918 阅读 · 0 评论 -
kafka安装
kafka特点: 高吞吐量、低延迟: 针对生产者发布及消费者订阅消息 kafka每秒可以处理几十万条数据 读写的延迟最低几毫秒 高并发: 一个kafka的broker节点可以并发处理几千个客户端的百兆数据的读写请求 一个kakfa集群是由多个broker节点服务器组成的 broker节点负责持久化和备份具体的kafka消息 可扩展性: 集群支持热扩展原创 2017-09-03 18:43:23 · 198 阅读 · 0 评论 -
Kafka深度解析
Kafka深度解析 发表于 2015-01-02 | 更新于 2017-03-15 | 分类于 Kafka , 大数据 , 分布式 | 评论次数 61 | 阅读次数 76049| 字数 17,408介绍Kafka背景,使用消息系统的优势,常用消息系统对比,Kafka架构介绍,Kafka实现语义分析,Replication及Leader Election机制剖析,Consume转载 2017-09-10 23:15:58 · 321 阅读 · 0 评论 -
Kafka设计解析(一)- Kafka背景及架构介绍
Kafka设计解析(一)- Kafka背景及架构介绍 发表于 2015-03-10 | 更新于 2017-03-29 | 分类于 Kafka , 大数据 , 分布式 | 评论次数 43 | 阅读次数 43015| 字数 7,329本文介绍了Kafka的创建背景,设计目标,使用消息系统的优势以及目前流行的消息系统对比。并介绍了Kafka的架构,Producer消息路由,Cons转载 2017-09-10 23:28:47 · 175 阅读 · 0 评论 -
Kafka设计解析(二)- Kafka High Availability (上)
Kafka设计解析(二)- Kafka High Availability (上)原创文章,转载请务必将下面这段话置于文章开头处。(已授权InfoQ中文站发布)本文转发自技术世界,原文链接 http://www.jasongj.com/2015/04/24/KafkaColumn2摘要 Kafka在0.8以前的版本中,并不提供High Availablity机制,转载 2017-09-10 23:30:07 · 130 阅读 · 0 评论 -
Kafka设计解析(三)- Kafka High Availability (下)
Kafka设计解析(三)- Kafka High Availability (下)本文在上篇文章 基础上,更加深入讲解了Kafka的HA机制,主要阐述了HA相关各种场景,如Broker failover,Controller failover,Topic创建/删除,Broker启动,Follower从Leader fetch数据等详细处理过程。同时介绍了Kafka提供的与Replicati转载 2017-09-10 23:31:36 · 180 阅读 · 0 评论 -
Kafka设计解析(四)- Kafka Consumer设计解析
Kafka设计解析(四)- Kafka Consumer设计解析本文主要介绍了Kafka High Level Consumer,Consumer Group,Consumer Rebalance,Low Level Consumer实现的语义,以及适用场景。以及未来版本中对High Level Consumer的重新设计--使用Consumer Coordinator解决Split转载 2017-09-10 23:33:13 · 188 阅读 · 0 评论 -
kafka-manager使用
转载至: https://my.oschina.net/pengli/blog/710522摘要: kafka-manager是一个kafka的web管理界面,普遍反应比kafka-web-console好用。通过它可以很方便地管理kafka topic,比如新建,编辑,删除,而不用使用命令行去操作。还能监控到kafka topic的相关信息。雅虎官方github项目:https:转载 2017-10-18 22:29:51 · 5834 阅读 · 0 评论