Yahoo开源的Apache Kafka管理工具:Kafka Manager

转载 2015年11月17日 17:40:34
Apache Kafka的管理工具。Kafka在雅虎内部被很多团队使用,媒体团队用它做实时分析流水线,可以处理高达20Gbps(压缩数据)的峰值带宽。 
为了简化开发者和服务工程师维护Kafka集群的工作,构建了一个叫做Kafka管理器的基于Web工具,叫做 Kafka Manager。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀,或者是分区在整个集群分布不均匀的的情况。它支持管理多个集群、 选择副本、副本重新分配以及创建Topic。同时,这个管理工具也是一个非常好的可以快速浏览这个集群的工具。 
该软件是用Scala语言编写的,该项目基于 Play Framework 框架开发。

功能: 
1、管理几个不同的集群; 
2、很容易地检查集群的状态(topics, brokers, 副本的分布, 分区的分布); 
3、选择副本; 
4、产生分区分配(Generate partition assignments)基于集群的当前状态; 
5、重新分配分区。 
以下是该集群管理工具的截图:

Cluster Management

Yahoo 推出的 Kafka 管理工具:Kafka Manager


Topic View

Yahoo 推出的 Kafka 管理工具:Kafka Manager


Broker View

Yahoo 推出的 Kafka 管理工具:Kafka Manager

运行环境:

  1. Kafka 0.8.1.1 or 0.8.2-beta

  2. sbt 0.13.x

  3. Java 7+

项目主页:http://www.open-open.com/lib/view/home/1423097387873

转载: http://www.open-open.com/lib/view/open1423097387873.html

雅虎开源管理工具Kafka Manager

雅虎已经开源了Kafka Manager工具。这款Kafka集群管理工具主要支持以下几个功能:   1、管理几个不同的集群;   2、很容易地检查集群的状态(topics, brokers, 副本的分...
  • lizhitao
  • lizhitao
  • 2015年03月27日 16:19
  • 4763

Apache顶级项目介绍2-Kafka

Apache顶级项目介绍系列-1,我们从Kafka说起。why?流行 + 名字cool。 Kafka官网是见过比较简单,直叙的网站,“kafka是一个高吞吐的分布式的消息系统”。 Kafka最...
  • ErixHao
  • ErixHao
  • 2016年05月20日 23:38
  • 2246

Apache Kafka 入门 - Kafka-manager的基本配置和运行

Apache Kafka 入门 Kafka的基本配置和运行 Kafka命令详细介绍 Kafka-manager的基本配置和运行 Kafka API 简单用法 Spring Boot 集成Kafka K...
  • isea533
  • isea533
  • 2017年06月25日 19:36
  • 5165

kafka管理工具

创建一个xlucas的topic 6个分区 3个副本[hadoop@master bin]$ ./kafka-topics.sh --create --zookeeper 192.168.1.101:...
  • paicMis
  • paicMis
  • 2016年10月16日 17:23
  • 778

apache kafka系列之安装与使用

1.前言 学习kafka的基础是先把kafka系统部署起来,然后简单的使用它,从直观上感觉它,然后逐步的深入了解它。 本文介绍了kafka部署方法,包括配置,安装和简单的使用。 2.kafk...
  • lizhitao
  • lizhitao
  • 2014年05月13日 02:51
  • 9687

Apache Kafka 实战从零开始(一)

不多说,咱们直接进入主题,那么我这里介绍一下我的环境。我用的是mac本,没有往本机装虚拟机,所以我用的是我的阿里云主机,穷滴很,就单节点吧咳咳。 那么首先说一下,由于我们的Kafka需要zookee...
  • qq_23660243
  • qq_23660243
  • 2016年08月08日 16:46
  • 814

kafka管理器kafka-manager部署安装

运行的环境要求 Kafka 0.8.1.1+ sbt 0.13.x Java 7+ 功能为了简化开发者和服务工程师维护Kafka集群的工作,yahoo构建了一个叫做Kafka管理器的基于Web工具,叫...
  • lsshlsw
  • lsshlsw
  • 2015年08月05日 17:02
  • 21006

Kafka系列之-Kafka监控工具KafkaOffsetMonitor配置及使用

调用封装好的Producer,结合Kafka监控工具KafkaOffsetMonitor的使用与分析。
  • dabokele
  • dabokele
  • 2016年08月30日 22:51
  • 16186

kafka源码解析之一kafka诞生的背景

Apache Kafka是由Apache软件基金会开发的一个开源消息系统项目,由Scala写成。Kafka最初是由LinkedIn开发(LinkedIn (领英) 创建于2002 年,致力于向全球职场...
  • wl044090432
  • wl044090432
  • 2016年03月22日 20:25
  • 2313

apache kafka系列之源码分析走读-kafka内部模块分析

D大调
  • lizhitao
  • lizhitao
  • 2014年08月03日 20:30
  • 15414
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Yahoo开源的Apache Kafka管理工具:Kafka Manager
举报原因:
原因补充:

(最多只允许输入30个字)