Kafka集群搭建

最新推荐文章于 2024-08-17 19:52:53 发布
最新推荐文章于 2024-08-17 19:52:53 发布
阅读量236 收藏 1
点赞数 1
分类专栏： # kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yangshengwei230612/article/details/104968730
版权

主要步骤：

  1. 安装java环境
  2. 搭建zookeeper集群
  3. 搭建kafka集群

1. 准备工作

服务器主机准备

准备三台主机(节点)，实体机虚拟机都可以
下面是我3台虚拟机的信息
在这里插入图片描述

安装java环境

  • 注意：每台主机都要安装java环境
  1. 下载JDK：jdk-8u221-linux-x64.tar.gz

  • 官网下载http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

  • 百度网盘下载：链接：https://pan.baidu.com/s/1H3rGyQAlE7zJ1lTp1noF1A
    提取码：iml3

  1. 将JDK上传至服务器
  • 使用finalshell连接的服务器，我是放在/home/ysw/jdk 目录下的，自己根据需求修改存放位置
    在这里插入图片描述
  1. 解压jdk-8u221-linux-x64.tar.gz
cd  /ysw/jdk8
tar -zxvf jdk-8u221-linux-x64.tar.gz
  1. 配置环境变量
    使用管理员权限打开profile才可对其修改保存
cd /etc
vi profile
  • 在done 和 unset it中间添加环境变量如下，注意路径和名称，与自己的保持一致即可
    /ysw/jdk8/jdk1.8.0_221 为jdk解压后存放的目录
 # Java Environment Path
export JAVA_HOME=/ysw/jdk8/jdk1.8.0_221
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

在这里插入图片描述

  1. 修改保存退出(按：wq!)后使用以下命令使其profile立即生效，要不然只能重启电脑生效了。
source /etc/profile
  1. 测试是否安装成功

使用javac命令，不会出现command not found 错误

  • 使用java -version，出现版本为java version “1.8.0_221”
    在这里插入图片描述

2. 搭建zookeeper集群

  1. 安装
    ZooKeeper一般都运行在Linux平台
    步骤：
  2. 官网下载：http://zookeeper.apache.org/
    在这里插入图片描述
    在每台主机上执行下面步骤：
    解压文件
tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz

重命名文件夹为zookeeper

mv apache-zookeeper-3.5.7-bin zk1

进入zk1
cd zk1
创建存放消息的文件

mkdir data

在这里插入图片描述
进入conf文件夹修改zookeeper的配置文件
配置文件的名字必须为zoo.cfg

cd conf
cp -r zoo_sample.cfg zoo.cfg

在这里插入图片描述
配置文件的名字必须为zoo.cfg

 vi zoo.cfg

#修改数据文件夹路径
dataDir=../data
#在文件末尾添加
server.1=10.139.12.149:2888:3888
server.2=10.139.12.15:2888:3888
server.3=10.139.12.150:2888:3888
#其它不变

在这里插入图片描述

在这里插入图片描述
三台机器上的zookeeper.properties文件配置相同，data.Dir 为zk的数据目录，server.1、server.2、server.3 为集群信息。

2888端口号是zookeeper服务之间通信的端口

3888端口是zookeeper与其他应用程序通信的端口。

进入data文件夹，创建myid文件，在myid文件中添加本机的 server ID，在本例中对应关系如下

主机zookeeperIP地址myid
yswbdpt1server.110.139.12.1491
yswbdpt2server.210.139.12.152
yswbdpt3server.310.139.12.1503

将三台服务器上的myid文件分别写入1，2，3。myid是zookeeper集群用来发现彼此的标识，必须创建，且不能相同。

在3台zk主机分别执行如下命令

echo  主机编号 > myid

例如主机1

echo  1 > myid

打开 myid 可以可以看到写入的编号
在这里插入图片描述
在这里插入图片描述

以上步骤在每台主=主机上都要执行性一次，也可以将修改好的zk1文件夹复制到其他两台主机，只需要修改myid的变化，配置文件不需要修改
在每台电脑上启动zookeeper
进如zk的bin目录
启动zk命令

[root@yswbdpt1 bin]# cd b

查看启动状态

[root@yswbdpt1 bin]# ./zkServer.sh status

超看java进程

[root@yswbdpt1 bin]# jps

在这里插入图片描述
注意：要在全部启动后，再查看启动状态
在这里插入图片描述
全部启动后，在每台zk主机上查看每台zk主机启动结果
一个leader两个follower
zk1启动结果
在这里插入图片描述
zk2启动结果
在这里插入图片描述
zk3启动结果
在这里插入图片描述
至此zk集群搭建成功

Zookeeper启动失败

使用 bin/zkServer.sh start-foreground 来启动，start-foreground启动时打印启动日志

 ./zkServer.sh start-foreground

2.搭建kafka集群

在每台主机上执行下面步骤：

解压文件

tar -zxvf kafka_2.10-0.10.1.1.tgz

重命名文件夹为kafka1

mv kafka_2.10-0.10.1.1.tgz kafka1

进入kafka1/config 修改server.properties配置文件

在这里插入图片描述
修改配置如下（IP地址应该根据实际情况填写）

broker.id的值三个主机节点要配置不同的值，分别配置为1，2，3
log.dirs：发布消息的存放目录
zookeeper.connect：zookeeper集群的连接地址，多个以逗号隔开

broker.id=1
listeners=PLAINTEXT://10.139.12.149:9092
log.dirs=../data
zookeeper.connect=10.139.12.149:2181,10.139.12.15:2181,10.139.12.150:2181

主机1修改结果如下：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在与config的同级目录新建data文件夹用来存放消息数据
在这里插入图片描述
主机2修改结果如下

broker.id=2
listeners=PLAINTEXT://10.139.12.15:9092
log.dirs=../data
zookeeper.connect=10.139.12.149:2181,10.139.12.15:2181,10.139.12.150:2181

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在与config的同级目录新建data文件夹用来存放消息数据

[root@yswbdpt2 kafka2]# mkdir data

在这里插入图片描述

主机3修改结果如下

broker.id=3
listeners=PLAINTEXT://10.139.12.150:9092
log.dirs=../data
zookeeper.connect=10.139.12.149:2181,10.139.12.15:2181,10.139.12.150:2181

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在每台主机上分进入kafka的bin目录下启动kafka

主机1

bin/kafka-server-start.sh config/server.properties &

在这里插入图片描述
在这里插入图片描述
kill 23775

主机2
在这里插入图片描述
在这里插入图片描述

主机3
在这里插入图片描述
稍等一会就会开始启动
在这里插入图片描述

测试Kafka集群

创建topic

因为是集群，在集群的随便其中一台主机创建topic都可以

进入随边一台主机kafak的bin 目录来创建topic，我这里使用ip为( 10.139.12.149)的主机
在这里插入图片描述

长度bin

在这里插入图片描述

./kafka-topics.sh --create --zookeeper 10.139.12.149:2181,10.139.12.15:2181,10.139.12.150:2181 --replication-factor 3 --partitions 3 --topic test-topic

查看创建的topic信息

./kafka-topics.sh --describe --zookeeper 10.139.12.149:2181,10.139.12.15:2181,10.139.12.150:2181 --topic test-topic

在这里插入图片描述

列出已创建的topic列表

 ./kafka-topics.sh --list --zookeeper 10.139.12.149:2181

在这里插入图片描述

在这里插入图片描述

创建主题后就可以生产数据/消费数据了

模拟客户端去发送消息

进入一个主机的kafka bin目录中

./kafka-console-producer.sh --broker-list 10.139.12.149:9092,10.139.12.15:9092,10.139.12.150:9092 --topic test

在这里插入图片描述
进入另一个一个主机的kafka bin目录中
模拟客户端去接受消息

 ./kafka-console-consumer.sh --zookeeper 10.139.12.149:2181,10.139.12.15:2181,10.139.12.150:2181 --from-beginning --topic test

在这里插入图片描述我们看可以看到虽然接受信息了，但是提示使用的命令是即将遗弃的命令，所以以后我们应该把命令中的zookeeoer 改成 bootstrap-server

bootstrap servers 如其名，只需要配个两三个就行了，会自动发现其他 broker，而至于 producer, 传进去的参数是 broker list, 是不会自动发现其它 brokers 的。

0.8 以前，消费进度是直接写到 zookeeper 的，consumer 必须知道 zookeeper 的地址。这个方案有性能问题，0.9 的时候整体大改了一次，brokers 接管了消费进度，consumer 不再需要和 zookeeper 通信了。所以新版本的生产和消费都不需要和zk通信了

 ./kafka-console-consumer.sh --bootstrap-server 10.139.12.149:9092,10.139.12.15:9092,10.139.12.150:9092 --topic test --from-beginning

在这里插入图片描述

参考链接：
Kafka集群搭建与配置

Kafka集群部署

紫金小飞侠
关注
专栏目录
kafka 集群搭建过程及搭建问题处理
raoping2017的博客
05-02 2340
文章目录1、Kafka 简介 2、Zookeeper 集群搭建 3、Kafka 集群搭建 4、Kafka 集群搭建问题记录 1、Kafka 简介 Kafka是一个消息系统，由LinkedIn贡献给Apache 基金会，称为Apache 的一个顶级项目；Kafka对消息保存时根据 Topic进行归类，发送消息者成为Producer,消息接受者成为Consumer，无论是Kafka集群，还是Pro
Kafka详解(包括kafka集群搭建)
热门推荐
wudidahuanggua的博客
09-29 6万+
对kafka细致的解析，从理论到集群搭建实战
kafka-集群搭建
小城我家
11-16 277
集群搭建 分配三台Linux，用于安装拥有三个节点的Kafka集群。 linux141(192.168.181.141) linux142(192.168.181.142) linux144(192.168.181.144) 以上三台主机的/etc/hosts配置： 192.168.181.141-linux140 192.168.181.142-linux141 192.168.181.144-linux144 安装zookeeper # 解压到/opt目录 tar -zxf zookeeper-3.4
Kafka集群搭建的两种方式
最新发布
dxh9231028的博客
08-17 1664
在2.8.0版本以前，Kafka集群的搭建依赖于Zookeeper环境，需要将kafka集群节点ip及主题等Kafka相关的元数据存入Zookeeper服务中。所以搭建Kafka集群前，需要先搭建Zookeeper集群。zookeeper多主机集群搭建。
搭建kafka集群
qq_45188618的博客
07-13 519
搭建kafka集群用到zookeeper，前提是先把zookeeper集群搭建起来，详细搭建可参考这篇文章：CSDNkafka是什么，说白就是个消息中间件，gpt一问kafka 相关名词解释：消息生产者，发布消息到 kafka 集群的终端或服务。2.broker：kafka 集群中包含的服务器。3.topic：每条发布到 kafka 集群的消息属于的类别，即 kafka 是面向 topic 的。
搭建Kafka集群
m0_62041043的博客
01-10 957
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档。
kafka集群搭建文档
05-31
本篇文档将详细介绍如何在Linux环境中搭建Kafka集群，同时结合Hadoop和Spark的分布式安装，构建一个完整的数据处理平台。 首先，搭建Kafka集群的基础条件包括： 1. 至少一台Linux服务器，但为了高可用性，推荐多台...
kafka集群搭建及测试.docx
11-11
【Kafka集群搭建及测试】 Kafka是一种分布式流处理平台，常用于实时数据处理和大数据管道。本文档将详细介绍如何在三台Ubuntu 16虚拟机上搭建Kafka集群，并进行基本的测试，确保其正常运行。 **1. 准备工作** 在...
kafka集群搭建
12-21
kafka分布式集群多服务器和单机部署，需安装zookeeper环境，
kafka集群搭建.pdf
01-04
kafka集群搭建方案 kafka集群搭建是大数据处理和实时数据处理的重要组件。下面是kafka集群搭建的详细方案： 一、准备工作 1. 关闭防火墙 关闭防火墙是kafka集群搭建的前提条件。可以使用systemctl disable ...
Kafka 集群搭建
BurukeYou
01-16 585
环境说明 基于kafka_2.11-2.4.1版本 centos7 官网下载地址 集群规划 之后每台服务器的配置编写几乎一摸一样, 除了myid文件内容不同 hadoop300 hadoop301 hadoop302 kafka V V V [Tip] 如无特别说明,该配置每个服务器要保持一致 安装 1、安装包准备 下载后, 解压到每台服务器的一个位置即可. 如下hadoop300, 其他集群服务器一样 [hadoop@hadoop300 app]$ pwd /home
kafka 集群搭建
weixin_30945039的博客
01-27 67
转：http://www.cnblogs.com/Orgliny/p/5526159.html 1、zookeeper搭建 　　Kafka集群依赖zookeeper，需要提前搭建好zookeeper 　　zookeeper快速搭建推荐地址：http://nileader.blog.51cto.com/1381108/795230 2、下载Kafka 下载地址：http://kaf...
windows kafka集群搭建
08-29
要Windows上搭建Kafka集群，你需要按照以下步骤进行操作： 1. 下载Kafka安装包并解压缩。你可以在中找到Windows下的安装包和详细教程。 2. 配置Zookeeper集群。Kafka依赖于Zookeeper进行集群管理。你可以在Kafka安装目录下的config文件夹中找到zookeeper.properties文件。打开该文件并配置Zookeeper集群的地址和端口。 3. 配置Kafka集群。你可以在Kafka安装目录下的config文件夹中找到server.properties文件。打开该文件并根据需要进行配置，比如监听地址、端口等。 4. 启动Zookeeper集群。可以使用命令行或者批处理文件启动Zookeeper集群。在命令行中执行"zookeeper-server-start.bat"命令，指定zookeeper.properties文件的路径，就可以启动Zookeeper集群。 5. 启动Kafka集群。使用命令行或者批处理文件启动Kafka集群。在命令行中执行"kafka-server-start.bat"命令，指定server.properties文件的路径，就可以启动Kafka集群。 6. 验证Kafka集群是否正常工作。你可以在命令行中执行"kafka-topics.bat --list --bootstrap-server localhost:9092"命令，验证是否能够列出Kafka集群中的主题。 这样，你就成功在Windows上搭建了Kafka集群。希望这些步骤对你有帮助！<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [专栏大数据中windows下搭建kafka集群中需要用到的安装包](https://download.csdn.net/download/abc8125/86250322)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* *3* [Windows下Kafka集群搭建](https://blog.csdn.net/HcJsJqJSSM/article/details/126752143)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值