linux虚拟机搭建Kafka集群环境

最新推荐文章于 2024-02-24 19:04:40 发布
最新推荐文章于 2024-02-24 19:04:40 发布
阅读量1.9k 收藏 38
点赞数 10
分类专栏： Linux 文章标签： 搭建Kafka集群环境 linux搭建Kafka集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shishishilove/article/details/116564448
版权

linux虚拟机搭建Kafka集群环境

文章目录

一、环境准备

  1. 具备 linux虚拟机搭建Zookeeper集群环境-教程

  2. 下载Kafka 官网下载地址
    在这里插入图片描述

  3. 这里我选择安装过Zookeeper的三台服务器上，再分别安装kafka【192.168.109.100 ；192.168.109.101 ；192.168.109.102】，自己可以扩展另外一些机器来安装kafka。

一、Kafka安装

1、打开三台虚拟机

在这里插入图片描述

2、用Xshell连接，并选择【发送键输入到所有会话】

在这里插入图片描述
【发送键输入到所有会话】：意思是在一个会话中的操作，可以同步到其他会话窗口。这样只需要在一个连接机器的安装，就可实现所有连接机器的安装。
在这里插入图片描述

3、在【/opt】下创建kafka文件夹
******************命令如下******************
cd /opt/
mkdir kafka
cd kafka/

在这里插入图片描述

4、下载kafka 官网下载地址

在这里插入图片描述
在这里插入图片描述

******************命令如下******************
wget https://downloads.apache.org/kafka/2.8.0/kafka_2.13-2.8.0.tgz

在这里插入图片描述
在这里插入图片描述

5、解压【kafka_2.13-2.8.0.tgz】
******************命令如下******************
tar -zxvf kafka_2.13-2.8.0.tgz

在这里插入图片描述
在这里插入图片描述

6、修改【server.properties】配置文件

进入【/opt/kafka/kafka_2.13-2.8.0/config/】路径下。

******************命令如下******************
cd /opt/kafka/kafka_2.13-2.8.0/config/

vim server.properties

在这里插入图片描述

6.1、修改【zookeeper.connect】参数

【zookeeper.connect】：设置连接的zookeeper集群连接信息

******************命令如下******************
zookeeper.connect=192.168.109.100:2181,192.168.109.101:2181,192.168.109.102:2181

在这里插入图片描述

6.2、分别修改【broker.id】参数

【broker.id】： 当前机器在集群中的唯一标识，和zookeeper的myid性质一样。【不能重复】
在这里插入图片描述
我这里，机器[192.168.109.100]，设置broker.id=0
在这里插入图片描述
机器[192.168.109.101]，设置broker.id=1
在这里插入图片描述
机器[192.168.109.102]，设置broker.id=2
在这里插入图片描述

6.3、分别修改【listeners=PLAINTEXT://:9092】参数

【9092】：是kafka默认端口。这里每个机器都改成自己的ip，见如下操作：
在这里插入图片描述

******************修改如下******************
listeners=PLAINTEXT://192.168.109.100:9092

在这里插入图片描述

******************修改如下******************
listeners=PLAINTEXT://192.168.109.101:9092

在这里插入图片描述

******************修改如下******************
listeners=PLAINTEXT://192.168.109.102:9092

在这里插入图片描述

6.4、修改【log.dirs】参数

【log.dirs】：日志存放路径，根据自己情况而定。

******************修改如下******************
log.dirs=/opt/kafka/kafka_2.13-2.8.0/logs

在这里插入图片描述
在这里插入图片描述

6.5、退出编辑，并保存

按【ESC】键退出编辑，并输入【:qw!】保存【server.properties】配置信息。

******************命令如下******************
:qw!

三、运行Kafka集群

1、运行Zookeeper集群服务

在这里插入图片描述

2、运行Kafka集群服务
./kafka-server-start.sh -daemon ../config/server.properties

####说明：【-daemon】守护进程方式启动，可加可不加。
         【../config/server.properties】server.properties文件的相对路径

在这里插入图片描述

……
帮助他人，快乐自己，最后，感谢您的阅读！
所以如有纰漏或者建议，还请读者朋友们在评论区不吝指出！

个人网站…知识是一种宝贵的资源和财富，益发掘，更益分享…

☞精◈彩◈猿◈笔◈记☜
关注
  • 10
    点赞
  • 踩
  • 38
    收藏
    觉得还不错? 一键收藏
  • 24
    评论
专栏目录
在linux中搭建kafka集群
08-18
本文档详细描述了如何在linux中搭建kafka集群，适合初中级程序员和运维同事，欢迎下载，我已经按照教程完整的搭建过一遍了，亲测有效
Linux搭建Kafka开发环境
04-24
NULL 博文链接：https://mazhilin.iteye.com/blog/2421565
docker-compose在虚拟机上搭建zookeeper+kafka3.0.0集群
最新发布
RudeTomatoes的博客
02-24 628
以docker-compose的方式搭建zookeeper+kafka3的集群，比起用docker命令的方式更加简单，还能保留配置信息。不会docker-compose没关系，按照我下面的操作步骤即可。集群的结构是三个zookeeper节点加上三个kafka节点，zookeeper镜像的版本是3.8.0，kafka的版本为3.0.0。在安装前默认你已经安装好了docker和docker-compose。
Kafka多版本集群搭建超详细
楚生辉的博客
08-21 1万+
大家好，我是楚生辉，在未来的日子里我们一起来学习大数据相关的技术，一起努力奋斗，遇见更好的自己！Kafka是由开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的，它可以处理消费者在网站中的所有动作流数据。本文详细的介绍了多个版本的Kafka集群安装，包括其多个版本之间的命令差异，有需要的小伙伴可以自行获取与学习~
Kafka安装与配置
m0_52940881的博客
05-24 366
与文中内容不同的是zookeeper中三台虚拟机名分别为hadoop1，hadoop2，hadoop3。而本文Kafka配置教程中，三台虚拟机名分别为node1，node2，node3。这本质都是一样的，只是名字不同，只需要修改名字，端口号等不需要改动。Kafka文件下的config/server.properties。需要注意的是，启动停止都需要在Kafka的bin目录下。停止： kafka-server-stop.sh。在kafka文件夹下创建logs文件夹。先在随便一台虚拟机上启动消费者。
kafka与zookeeper集群搭建（无废话版）
m0_67056443的博客
09-12 207
然后通过ifconfig获取到ip，我这里的三台虚拟机ip分别是192.168.126.137,192.168.126.138,192.168.126.139，同时zk和kafka运行需要java运行环境，我们需要提前安装好jdk。（2).获取到zk和kafka的安装包，这里我的是apache-zookeeper-3.5.6-bin.tar.gz和kafka_2.11-2.4.1.tgz版本，需要可私聊博主获取，或者直接网上下载。解压后,三台主机重复以下操作,为了后续操作方便,重命名。
【Kafka】Linux部署Kafka集群
鸟人的博客
02-27 768
将压缩包分别上传到三台Kafka服务器的/usr/local/kafka目录下，备用。分别在202,203节点上创建消费者。在151的broker上创建生产者。创建data和log目录。151节点下创建主题即可。启动Zookeeper。
Linux 搭建Kafka集群，最新教程，细到极致
gubeichengxuyuan的博客
06-01 4984
Linux 搭建Kafka集群，最新教程，细到极致
linux搭建Kafka集群
jaly_007的博客
10-12 838
centos7 kafka集群搭建
Linux实战——Kafka集群安装部署
qq_41954181的博客
04-06 600
Kafka是一款的消息队列系统。同RabbitMQ一样，Kafka也是消息队列。不过RabbitMQ多用于后端系统，因其更加专注于消息的延迟和容错。Kafka多用于大数据体系，因其更加专注于数据的吞吐能力。Kafka多数都是运行在分布式（集群化）模式下，这里将以3台服务器，来完成Kafka集群的安装部署。
docker容器中搭建kafka集群环境.doc
11-07
docker容器中搭建kafka集群环境，kafka集群配置注意事项与优化
docker容器中搭建kafka集群环境 - 副本.doc
03-20
docker容器中搭建kafka集群环境
LinuxLinux部署kafka集群
03-01
【Linux】Linux部署kafka集群 包含：kafka，zookeeper，jdk压缩包
搭建kafka集群详细教程
03-23
搭建kafka集群详细教程搭建kafka集群详细教程搭建kafka集群详细教程
Linux安装RabbitMQ详细教程
热门推荐
精◈彩◈猿◈笔◈记
12-22 1万+
目录 一、准备环境准备 1、RabbitMQ版本 和 Erlang 版本兼容性关系 2、官方安装包下载地址 3、安装包中说明，请下载对应的安装包 二、安装操作步骤 1、安装C++依赖环境 2、准备安装包 3、在【/opt】路径下，创建【rabbitmq】文件夹 4、将安装包上传到【rabbitmq】文件夹下 5、安装Erlang 6、检查Erlang是否安装成功 7、安装socat 8、安装rabbitmq 9、开启管理界面 10、添加配置文件，解决只能localhost访问的
linux安装mysql教程【超级详细】
精◈彩◈猿◈笔◈记
08-24 2334
mysql官网下载地址：https://dev.mysql.com/downloads/mysql/ Compressed TAR Archive https://dev.mysql.com/get/Downloads/MySQL-8.0/mysql-8.0.26-linux-glibc2.12-x86_64.tar.xz 下载方式: 1、通过wget直接下载到/usr/local路径下【这里使用这种方式】 2、通过再别的地方下载后复制到/usr/local路径下 wg...
Linux之yum仓库详细配置教程【网络配置/本地配置】
精◈彩◈猿◈笔◈记
08-14 1251
概述 YUM（全称为 Yellow dog Updater, Modified）是一个在Fedora和RedHat以及CentOS中的Shell前端软件包管理器。基于RPM包管理，能够从指定的服务器自动下载RPM包并且安装，可以自动处理依赖性关系，并且一次安装所有依赖的软件包，无须繁琐地一次次下载、安装。 在Linux上使用源码的方式安装软件非常满分，使用yum可以简化安装的过程。 yum的常用命...
linux搭建kafka集群
06-28
### 回答1： 要搭建Kafka集群，需要以下步骤： 1. 安装Java环境：Kafka是基于Java开发的，因此需要先安装Java环境。 2. 下载Kafka：从官网下载Kafka的二进制包。 3. 解压Kafka：将下载的Kafka二进制包解压到指定的目录下。 4. 配置Kafka：修改Kafka的配置文件，包括broker.id、zookeeper.connect、listeners等参数。 5. 启动Zookeeper：Kafka依赖于Zookeeper，因此需要先启动Zookeeper。 6. 启动Kafka：启动Kafka集群，可以使用命令行或者脚本启动。 7. 测试Kafka：使用Kafka提供的命令行工具进行测试，包括创建主题、发送消息、消费消息等操作。 8. 部署Kafka集群：将Kafka集群部署到多台服务器上，可以使用Kafka提供的复制机制实现数据的备份和容错。 以上就是搭建Kafka集群的基本步骤。需要注意的是，Kafka的配置和部署需要根据实际情况进行调整和优化，以保证Kafka集群的性能和稳定性。 ### 回答2： Kafka是一款高性能的分布式消息系统，常常用于大规模数据流的处理和分发。Linux作为一个可靠的服务端操作系统，也是Kafka的一个常见的运行环境。本文将介绍在Linux环境下搭建Kafka集群的步骤和注意事项。 1. 安装Java Kafka是基于Java开发的，因此需要先安装Java运行环境。使用以下命令安装Java 8： ``` $ sudo apt-get update $ sudo apt-get install openjdk-8-jdk ``` 2. 下载和解压缩Kafka 下载Kafka最新版本，并解压缩到合适的目录下。比如： ``` $ wget https://downloads.apache.org/kafka/2.6.0/kafka_2.13-2.6.0.tgz $ tar -zxf kafka_2.13-2.6.0.tgz $ cd kafka_2.13-2.6.0 ``` 3. 修改配置文件 Kafka的配置文件位于“config”目录下，常见的有“server.properties”和“zookeeper.properties”。我们需要修改这些配置文件以适配我们的环境。下面是一些要注意的设置： - “server.properties”中的“broker.id”必须是唯一的，每个Kafka节点应该有一个唯一的值。 - “server.properties”中需要设置“listeners”为“PLAINTEXT://:9092”或“PLAINTEXT://[[hostname]]:9092”，这样才能通过网络接口访问到Kafka。 - “zookeeper.properties”中需要设置“dataDir”为Zookeeper数据存储的目录。 4. 启动Zookeeper Kafka依赖Zookeeper来管理集群配置，因此需要先启动Zookeeper。使用以下命令启动Zookeeper： ``` $ bin/zookeeper-server-start.sh config/zookeeper.properties ``` 5. 启动Kafka节点 我们可以使用以下命令启动一个Kafka节点，注意使用不同的配置文件： ``` $ bin/kafka-server-start.sh config/server.properties ``` 如果我们需要启动多个节点，可以使用不同的配置文件，并在启动时设置不同的“broker.id”。启动一组Kafka节点后，它们将自动组成一个集群。 6. 测试 使用以下命令创建一个主题和消费者： ``` $ bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test $ bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning ``` 然后在生产者端发送一些消息： ``` $ bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test >test message 1 >test message 2 ``` 我们应该可以在消费者端看到这些消息。 7. 总结 在Linux环境下搭建Kafka集群需要一定的基础知识和技能，但只要按照上述步骤操作，应该能够很容易地搭建一个稳定的、高性能的Kafka环境。当然，在运维过程中也需要注意Kafka的一些常见问题，如副本同步延迟、消息丢失等。不过这些问题已经超出了本文的范围。 ### 回答3： Kafka是一个高性能、可扩展、分布式的消息队列，由于它的高可靠性和高吞吐量，越来越多的企业选择使用Kafka作为消息中间件。为满足大规模数据处理和高并发请求的需求，必须通过搭建Kafka集群来保证其性能和可靠性。 一、环境准备 1.安装Java环境：Kafka运行需要Java环境，安装JDK。 2.下载和安装Kafka：Kafka官方网站下载.tar.gz格式的压缩包，解压缩至指定路径即可。 3.配置Kafka：修改config文件夹下server.properties配置文件，设置Kafka的基本参数。 4.准备Zookeeper环境：Kafka集群依赖于Zookeeper环境，需要先安装Zookeeper。 5.配置Zookeeper：修改Zookeeper的配置文件config/zookeeper.properties，设置Zookeeper的基本参数。 二、搭建Kafka集群 1.编辑Kafka配置文件：修改Kafka的配置文件config/server.properties，设置Kafka节点通信机制，以及数据保存路径等参数。 2.启动Zookeeper：启动Zookeeper，确保Zookeeper正常工作。 3.启动Kafka服务器：执行bin/kafka-server-start.sh config/server.properties命令启动Kafka服务器，启动成功后就可以在本机访问Kafka。 4.配置Kafka集群： 在每个Kafka节点上修改配置文件，设置broker.id、zookeeper.connect、port等参数，然后依次启动所有节点。 5.测试Kafka集群： 在集群中的任何一个节点上创建一个主题，向主题中发送消息并消费消息，以确保Kafka集群的正常工作。 三、集群管理 管理Kafka集群需要使用kafka-manager或kafka-web-console等工具，可以通过Web界面来管理Kafka集群的主题、分区、消费者以及监控Kafka的各项指标，方便用户进行集群管理。 总之，通过上述步骤，可以快速搭建一个高可靠、高吞吐量的Kafka集群，为企业提供无缝的数据传输、消息中间件服务。同时，对于管理者而言，还需要做好监控和维护工作，保证 kafka 集群持续稳定的工作，最终满足各种复杂业务的数据流转和处理需求。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 24
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值