Kafka集群及Kafka-Manager部署

最新推荐文章于 2022-11-27 11:26:05 发布
最新推荐文章于 2022-11-27 11:26:05 发布
阅读量779 收藏 2
点赞数
分类专栏： kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/guan0005/article/details/84973978
版权
本文详述了Kafka集群的部署过程，包括环境配置、软件安装、Kafka配置、启动与停止，以及如何使用systemd管理Kafka。此外，还介绍了部署Kafka Manager的步骤，包括下载、编译、安装与配置，以方便管理和监控Kafka集群。
摘要由CSDN通过智能技术生成

Kafka集群及Kafka-Manager部署

一、环境
服务器：

IP地址 操作系统
192.168.241.11 CentOs7-1804
192.168.241.12 CentOs7-1611
192.168.241.13 CentOs7-1804

JDK版本：1.8.0_151
ZooKeeper版本：3.4.12
Kafka版本：2.12-2.1.0

二、软件安装
三台服务器均需要安装Java JDK和Kafka，Java JDK的安装本文不再赘述。
Kafka集群依赖Zookeeper集群。Kafka官方安装程序中内置Zookeeper，但本文使用的是自建的Zookeeper集群，Zookeeper集群的部署请参阅：《ZooKeeper集群部署》

1、下载Kafka，官网下载地址为：http://kafka.apache.org/downloads
本文下载到的安装包名为：kafka_2.12-2.1.0.tgz

2、将安装包拷贝到服务器上解压，本文解压到了/usr/local/lib目录下。
在这里插入图片描述

三、配置
配置安装目录里config目录下的server.properties文件，本文为：/usr/local/lib/kafka_2.12-2.1.0/config/server.properties文件。
修改broker.id，listeners和zookeeper.connect这三个配置项。
broker.id：这是当前服务器节点在Kafka集群中的ID，必须是一个整数，各个节点的ID不能相同。例如本文的集群由3台服务器组成，各台服务器上该值分别为1，2，3。

最低0.47元/天 解锁文章
guan0005
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
kafka集群安装和kafka-manager
weixin_30369087的博客
12-10 100
1、软件环境 （3台服务器-测试）* mykafka1* mykafka2* mykafka3 [root@localhost ~]# cat /etc/redhat-releaseCentOS Linux release 7.2.1511 (Core) [root@localhost ~]# lscpu[root@localhost ~]# free -m[root@localhost ~]...
新版kafka Manager(CMAK)安装部署教程
五道口
08-30 7866
简介 截止至2021年9月1日，新版kafka manager（CMAK）最新版本为v3.0.0.5（2020年6月21日发布），支持kafka v0.8.1.1~ v2.4.0之间的多个版本，但实测是可以支持kafka v2.7.1版本的。旧版kafka manager安装请参考我的文章《Kafka Manager部署和使用》 本教程所讲述的环境版本如下： 环境 版本 操作系统 centos 7 JDK 11.0.12 kafka 2.7.1 kafka manager（CMA
kafka集群管理工具kafka-manager部署安装
coding_1994的博客
05-04 3301
一、kafka-manager 简介 为了简化开发者和服务工程师维护Kafka集群的工作，yahoo构建了一个叫做Kafka管理器的基于Web工具，叫做 Kafka Manager。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀，或者是分区在整个集群分布不均匀的的情况。它支持管理多个集群、选择副本、副本重新分配以及创建Topic。同时，这个管理工具也是一个非常好的可以快速浏览这个集群的工具，有如下功能： 1.管理多个kafka集群 2.便捷的检查kafka集群状态(t...
通过systemd 管理zookeeper、kafka
ChauncyTan的博客
03-17 816
kafka\zookeeper安装路径 zookeeper.service [Unit] Description=Zookeeper service After=network.target [Service] Type=simple Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/b...
Kafka的灵魂伴侣Logi-KafkaManger(4)之运维管控–集群运维(数据迁移和集群在线升级)
石臻臻的杂货铺(szzdzhp001)
04-26 2万+
详细介绍 应用管理 用户管理 平台配置等模块 还有kafka的分区迁移任务;
kafka集群管理工具 kafka-manager
02-19
kafka集群管理工具 kafka-manager,解压后修改zookeeper地址后即可启动运行.然后可以直接运行了.具体可以看我的博客.https://blog.csdn.net/qq_25933841/article/details/104395644
Kafka集群及Kafka-Manager安装部署.docx
02-07
Kafka集群及Kafka-Manager安装部署
Kafka集群管理工具kafka-manager的安装使用1
08-08
Kafka Manager 是一个由雅虎开源的高效且流行的 Kafka 集群管理工具，它提供了便捷的图形界面来帮助管理员执行常见的集群管理任务。Kafka Manager 支持多种功能，包括： 1. **管理多个 Kafka 集群**：用户可以通过...
kafka-manager-2.0.0.2.zip
07-27
Kafka Manager是由雅虎开发的一款针对Apache Kafka集群的开源Web管理工具。它的主要目标是提供一个用户友好的界面，使得Kafka集群的管理和监控变得更加直观和便捷。在深入讲解Kafka Manager之前，我们先来了解一下...
kafka集群搭建
cyy356的博客
01-18 82
一、 安装java环境  上传jdk包，并安装 rpm -ivh jdk-8u191-linux-x64.rpm 看看jdk安装路径 find / -name javac 配置环境变量 vim /etc/profile 在最下面添加两行 JAVA_HOME=/usr/java/jdk1.8.0_191-amd64 export path=$JAVA_HOME/bin:$path...
kafka集群 + manager监控
m0_37606574的博客
12-30 367
Kafka基本原理详解（超详细）：https://blog.csdn.net/weixin_45366499/article/details/106943229 环境准备 zookeeper集群安装可参考：https://blog.csdn.net/yuanlaijike/article/details/79916792 安装zk集群 主机名 IP 说明 master 192.168.56.104 zk flower节点 slave1 192.168.56.
kafka-manager部署
qq_27710549的博客
07-09 527
kafka-manager部署源码地址 https://github.com/yahoo/kafka-manager修改配置项，配置项可以打包之前修改，也可以打包之后修改修改conf目录下的 application.conf配置文件配置zookeeper地址,kafka-manager.zkhosts = xxx:2181访问时是否需要密码,默认是false,不需要密码, basicAuthent...
kafka-manager安装
huchao_lingo的博客
03-10 997
kafka-manager安装 1、下载安装 链接: https://pan.baidu.com/s/1hmoD0uSNH4XvwZuNc3TMtA 提取码: 17rv cd /opt/server unzip kafka-manager-2.0.0.0.zip mv kafka-manager-2.0.0.0 kafka-manager cd kafka-manager 2、配置 cd /o...
Centos7编译安装kafka-manager教程
weixin_43226231的博客
03-30 505
kafka-manager是目前最受欢迎的kafka集群管理工具，最早由雅虎开源，用户可以在Web界面执行一些简单的集群管理操作。 具体支持以下内容 管理多个集群 轻松检查群集状态（主题，消费者，偏移，代理，副本分发，分区分发） 运行首选副本选举 使用选项生成分区分配以选择要使用的代理 运行分区重新分配（基于生成的分配） 使用可选主题配置创建主题（0.8.1.1具有与0.8.2+不...
kafka-manager配置和使用
aipiannian6725的博客
11-20 344
kafka-manager配置 　　最主要配置就是用于kafka管理器状态的zookeeper主机。这可以在conf目录中的application.conf文件中找到。 kafka-manager.zkhosts="my.zookeeper.host.com:2181" 　　当然也可以声明为zookeeper集群。 kafka-manager.zkhosts="my....
Apache Kafka 入门 - Kafka命令详细介绍
热门推荐
偶尔记一下 - mybatis.io
06-25 4万+
Apache Kafka 入门Apache Kafka 入门大概分为5篇博客，内容都比较基础，计划包含以下内容： Kafka的基本配置和运行 Kafka命令行详细介绍 Kafka-manager的基本配置和运行 Kafka API 简单用法 Spring Boot 集成Kafka Kafka支持Linux和WIndows环境，本文运行环境使用Linux（CentOS）。本篇为第二篇。Kafka命令行
Kafka学习（一）——kafka和kafka-manager的安装
笑里笑外~
11-18 536
Kafka——简单学习入门 文章目录Kafka——简单学习入门简介一、工作原理二、简单安装1.安装kafka2.安装kafka-manager3. Java中工具类消费者：KafkaConsumerTest生产者：KafkaProducerTest总结 简介 ​    Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务
Kafka系列8：一网打尽常用脚本及配置，宜收藏落灰！
ShiLuoHeroKing的博客
05-27 750
前言通过前面 7 篇文章的介绍，小伙伴们应该对 Kafka 运行工作原理有一个相对比较清晰的认识了。为了提高平时的工作效率，帮助我们快速定位一些线上问题，比如查看部分 Partition...
Kafka部署安装及简单使用
最新发布
jh035的博客
11-27 2192
Console.WriteLine($"发送事件{dr.Value}到{dr.TopicPartitionOffset}成功");Console.WriteLine($"创建商品：Order:{value}");Console.WriteLine($"创建商品：Key:{key}");listeners=PLAINTEXT://localhost:9092 -- 将localhost修改为主机ip。log.dirs=/bigdata/kafka/logs-1 -- 默认不修改也可。
Kafka集群与Kafka-Manager安装教程
"Kafka集群及Kafka-Manager安装部署文档" 在本文档中，我们将详细介绍如何在特定的工作环境中安装和部署Kafka集群以及Kafka-Manager。准备工作包括JDK和Zookeeper的安装，这两个组件是Kafka运行的基础。以下是详细...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值