KAFKA单机和集群安装部署

已于 2022-06-22 16:46:41 修改
阅读量1k 收藏 2
点赞数
文章标签： kafka zookeeper 分布式
于 2022-06-02 15:15:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39166937/article/details/125101216
版权

单机部署

实验环境

将服务压缩包都存放至服务器的/data/install目录中

服务器ip地址

服务名称

服务版本

安装路径

192.168.10.100

JDK

15.0.1

/data/install/jdk

zookeeper

3.8.0

/data/zookeeper-3.8.0

kafka

2.12-3.2.0

/data/kafka_2.12-3.2.0

kafka是依赖于zookeeper服务启动的，zookeeper和kafka都是java服务，需要安装jdk。

一、服务安装包下载地址。

jdk：https://www.jb51.net/softs/691593.html

zookeeper ：https://dlcdn.apache.org/zookeeper/zookeeper-3.8.0/apache-zookeeper-3.8.0-bin.tar.gz

kafka:Index of /dist/kafka

二、将下载安装包上传至服务器

安装包下载完成后上传至服务器的/data/install目录中后解压

#解压jdk

cd /data/install

tar -zxvf jdk-15.tar.gz

#解压zookeeper

tar -zxvf zookeeper-3.8.0 -C ../

#解压kafka

tar -zxvf kafka_2.12-3.2.0 -C ../

三、设置环境变量（全部shell生效）

编辑/etc/profile文件

vim /etc/profile

#在文件末尾添加以下内容

#java

export JAVA_HOME=/data/install/jdk

#zookeeper

export ZOOKEEPER_HOME=/data/zookeeper-3.8.0

#kafka

export KAFKA_HOME=/data/kafka_2.12-3.2.0

export PATH=$JAVA_HOME/bin:$KAFKA_HOME/bin:$ZOOKEEPER_HOME/bin:$PATH

保存退出后让环境变量生效

source /etc/profile

检查环境变量是否生效

四、修改zookeeper的配置文件

先将zk的配置文件拷贝为zoo.cfg

cd /data/zookeeper-3.8.0/conf/

cp zoo_sample.cfg zoo.cfg

编辑zoo.cfg的配置文件内容

vim zoo.cfg

#修改数据存放目录

dataDir=/data/zookeeper-3.8.0/data

创建数据存放目录

mkdir /data/zookeeper-3.8.0/data

五、启动zookeeper服务

修改配置文件和创建数据存放目录完成后启动zk服务

zkServer.sh start

启动完成后检查服务器运行状态

ps -ef | grep zookeeper

netstat -anlp | grep 2181

六、修改kafka配置文件

直接修改kafka的配置文件并创建对应的数据存放目录

mkdir /data/kafka_2.12-3.2.0/logs

cd /data/kafka_2.12-3.2.0/

vim config/server.properties

#添加以下内容

listeners=PLAINTEXT://192.168.10.100:9092

advertised.listeners=PLAINTEXT://192.168.10.100:9092

#修改以下内容

log.dirs=/data/kafka_2.12-3.2.0/logs

zookeeper.connect=192.168.10.100:2181

配置文件内容如下

broker.id=0 #集群部署是的节点id

listeners=PLAINTEXT://192.168.10.100:9092 #本机服务器ip

advertised.listeners=PLAINTEXT://192.168.10.100:9092 #本机服务器ip

num.network.threads=3

num.io.threads=8

socket.send.buffer.bytes=102400

socket.receive.buffer.bytes=102400

socket.request.max.bytes=104857600

log.dirs=/data/kafka_2.12-3.2.0/data #数据存放目录

num.partitions=1 #集群节点数量

num.recovery.threads.per.data.dir=1

offsets.topic.replication.factor=1

transaction.state.log.replication.factor=1

transaction.state.log.min.isr=1

log.retention.hours=168

log.segment.bytes=1073741824

log.retention.check.interval.ms=300000

zookeeper.connect=192.168.10.100:2181 #集群节点ip和端口以逗号隔开

zookeeper.connection.timeout.ms=18000

group.initial.rebalance.delay.ms=0

七、启动kafka服务

配置文件完成修改后就可以启动kafka了

kafka-server-start.sh config/server.properties &

检查kafka服务启动情况

ps -ef | grep kafka

netstat -anlp | 9092

八、测试

测试kafka搭建是否正常

创建一个topic，其中replication-factor为副本数，partitions为分区数，topic-test为创建的topic名字

kafka-topics.sh --create --bootstrap-server 192.168.10.100:9092 replication-factor 1 --partitions 1 --topic topic-test

查看kafka所有的topic

kafka-topics.sh --list --bootstrap-server 192.168.10.100:9092

可以看到刚才创建的topic了

打开两个shell，一个用于生产着发送消息，一个用于消费着接收消息

生产者

kafka-console-producer.sh --broker-list 192.168.10.100:9092 --topic topic-test

消费者

kafka-console-consumer.sh --bootstrap-server 192.168.10.100:9092 --topic topic-test

至此说明kafka单机部署完成

集群部署

实验环境：在原本单机部署的情况下新增两台服务器当作节点服务器

服务器ip地址

192.168.10.100

192.168.10.101

192.168.10.102

其他服务版本，路径等内容相同。

一、新增两台服务器服务部署

按照单机部署时进行服务下载，上传，解压；设置环境变量；创建数据目录等相同操作。

二、设置10.100的服务配置文件

删除zk和kafka中数据存放目录中的文件

rm -rf /data/zookeeper-3.8.0/data/*

rm -rf /data/kafka_2.12-3.2.0/logs*

编辑zoo.cfg的配置文件内容

cd /data/zookeeper-3.8.0/conf/

vim zoo.cfg

#有修改，新增的内容如下

dataDir=/data/zookeeper-3.8.0/data

#在文件末尾添加以下内容

server.1=192.168.10.100:2888:3888

server.2=192.168.10.101:2888:3888

server.3=192.168.10.102:2888:3888

并且在存放zk的数据目录添加myid内容为1与server.x对应

cd /data/zookeeper-3.8.0/data

echo 1 > myid

编辑kafka的配置文件

cd /data/kafka_2.12-3.2.0/

vim config/server.properties

#添加以下内容

listeners=PLAINTEXT://192.168.10.100:9092 #本机ip地址

advertised.listeners=PLAINTEXT://192.168.10.100:9092 #本机ip地址

#修改以下内容

broker.id=0

num.partitions=3

log.dirs=/data/kafka_2.12-3.2.0/logs

#zookeeper.connect=ip:port,ip:port,ip:port

zookeeper.connect=192.168.10.100:2181,192.168.10.101:2181,192.168.10.102:2181

三、设置10.101的服务配置文件

编辑zoo.cfg的配置文件内容

cd /data/zookeeper-3.8.0/conf/

vim zoo.cfg

#有修改新增的内容如下

dataDir=/data/zookeeper-3.8.0/data

#在文件末尾添加以下内容

server.1=192.168.10.100:2888:3888

server.2=192.168.10.101:2888:3888

server.3=192.168.10.102:2888:3888

并且在存放zk的数据目录添加myid内容为2与server.x对应

cd /data/zookeeper-3.8.0/data

echo 2 > myid

编辑kafka的配置文件

cd /data/kafka_2.12-3.2.0/

vim config/server.properties

#添加以下内容

listeners=PLAINTEXT://192.168.10.101:9092 #本机ip地址

advertised.listeners=PLAINTEXT://192.168.10.101:9092 #本机ip地址

#修改以下内容

broker.id=1

num.partitions=3

log.dirs=/data/kafka_2.12-3.2.0/logs

#zookeeper.connect=ip:port,ip:port,ip:port

zookeeper.connect=192.168.10.100:2181,192.168.10.101:2181,192.168.10.102:2181

四、设置10.102的服务配置文件

编辑zoo.cfg的配置文件内容

cd /data/zookeeper-3.8.0/conf/

vim zoo.cfg

#有修改新增的内容如下

dataDir=/data/zookeeper-3.8.0/data

#在文件末尾添加以下内容

server.1=192.168.10.100:2888:3888

server.2=192.168.10.101:2888:3888

server.3=192.168.10.102:2888:3888

并且在存放zk的数据目录添加myid内容为3与server.x对应

cd /data/zookeeper-3.8.0/data

echo 3 > myid

编辑kafka的配置文件

cd /data/kafka_2.12-3.2.0/

vim config/server.properties

#添加以下内容

listeners=PLAINTEXT://192.168.10.102:9092 #本机ip地址

advertised.listeners=PLAINTEXT://192.168.10.102:9092 #本机ip地址

#修改以下内容

broker.id=2

num.partitions=3

log.dirs=/data/kafka_2.12-3.2.0/logs

#zookeeper.connect=ip:port,ip:port,ip:port

zookeeper.connect=192.168.10.100:2181,192.168.10.101:2181,192.168.10.102:2181

五、关闭防火墙

关闭防火墙，保证服务器之间网络可以连通

开放指定端口

firewall-cmd --add-port=8080/tcp --permanent

重载入添加的端口

firewall-cmd --reload

查看指定端口是否已经开放

firewall-cmd --query-port=8080/tcp

移除指定端口

firewall-cmd --permanent --remove-port=8080/tcp

查询开放的端口列表

firewall-cmd --zone=public --list-ports

查看防火墙状态 systemctl status firewalld

开启防火墙 systemctl start firewalld

关闭防火墙 systemctl stop firewalld

重启防火墙 service firewalld start

六、启动服务

先启动zk服务

按照100，101，102的顺序执行

zkServer.sh start

等待启动完成检查服务启动情况

ps -ef | grep zookeeper

netstat -anlp | grep 2181

查看zk集群状态

zkServer.sh status

登录zk集群查看是否正常

zkCli.sh

ls /

再启动kafka服务

按照100，101，102的顺序执行

cd /data/kafka_2.12-3.2.0/

kafka-server-start.sh config/server.properties &

启动完成查看端口是否正常监听

netstat -anlp | grep 9020

七、测试

测试kafka搭建是否正常，

其中bootstrap-server连接的ip:port可以集群中的任何一个

创建一个topic，其中replication-factor为副本数，partitions为分区数，topic-test为创建的topic名字

kafka-topics.sh --create --bootstrap-server 192.168.10.100:9092 replication-factor 1 --partitions 1 --topic topic-cluster

查看kafka所有的topic

kafka-topics.sh --list --bootstrap-server 192.168.10.100:9092

可以看到刚才创建的topic了

生产者

kafka-console-producer.sh --broker-list 192.168.10.101:9092 --topic topic-cluster

消费者

kafka-console-consumer.sh --bootstrap-server 192.168.10.102:9092 --topic topic-cluster

可以正常生产和消费，至此集群搭建完成。

 

只为摸鱼
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
kafka的单机、集群部署安装
将臣三代的博客
06-22 784
通过上述步骤，可以完成 Kafka 的单机和集群部署。单机部署适用于开发和测试环境，而集群部署适用于生产环境，能够提供高可用性和高吞吐量。作为架构师，掌握这些基本部署和配置步骤，对于设计和维护 Kafka 系统至关重要。
「Kafka」Kafka单机和集群安装（二）
技术路上的探险家
04-25 1656
集群启动命令后，会打开多个黑窗口，每一个窗口都是一个kafka服务，请不要关闭，一旦关闭，对应的kafka服务就停止了。如果启动过程报错，主要是因为zookeeper和kafka的同步问题，请先执行cluster-clear.cmd文件，再执行cluster.cmd文件即可。因为Kafka启动前，必须先启动ZooKeeper，并且Kafka集群中有多个节点需要启动，所以启动过程比较繁琐，这里我们将启动的指令进行封装。在cluster文件夹下创建cluster.cmd批处理文件，用于启动kafka集群。
Kafka 单机（集群）安装部署（自带zookeeper）
zhanzjx的博客
03-23 5705
背景： kafka官网：http://kafka.apache.org/ kafka下载页面：http://kafka.apache.org/downloads kafka配置快速入门：http://kafka.apache.org/quickstart 新版本的kafka自带有zookeeper，本篇文章记录使用自带zookeeper搭建kafka集群。 消息队列术语： •Kafka将消息以topic为单位进行归纳。 •将向Kafka topic发布消息的程序成为producers. •将预订topi
docker 镜像方式 Kafka单机和集群安装手册
weixin_45805531的博客
11-29 702
docker 镜像方式 Kafka单机和集群安装手册
Kafka02：Kafka安装部署：单机安装部署、集群安装部署
weixin_40612128的博客
03-13 1232
前面我们对Kafka有了一个基本的认识，下面我们就想使用一下Kafka 在使用之前，需要先把Kafka安装部署起来 Kafka是支持单机和集群模式的，建议大家在学习阶段使用单机模式即可，单机和集群在操作上没有任何区别。 注意：由于Kafka需要依赖于Zookeeper，所以在这我们需要先把Zookeeper安装部署起来。 一、Zookeeper安装部署 1、Zookeeper单机安装 Zookeeper02：Zookeeper安装部署【单机】 2、Zookeeper集群安装 Zookeeper03：Zook
kafka服务部署从单机到集群
abments的博客
02-12 978
kafka单机部署和集群部署教程
快速实现KAFKA单机、集群部署
小青年的博客
09-19 502
一、概述 1、关键作用：解耦、削峰填谷、异步处理 2、常见的MQ消费分类：至多一次消费、没限制 3、kafka名词解释： ① topic：一个消息只能进入一个topic中； ② partition：每个topic会根据分区数划分多个分区，每个分区相互独立。消息有key时使用hash分发到对应分区，无key使用轮询分散到各个分区； ③ 分区数：决定每个topic有多少个partition； ④ 副本因子：决定每个partition在kafka集群中有多少个副本，副本在不同的节点上，防止单点故障； ⑤ brok
01-Kafka之单机和集群安装
qq_39234967的博客
08-21 1487
如果有在总体上保证消费顺序的需求，可以通过将topic的partition数量设置为1，将consumer group中的consumer instance数量也设置为1，但是这样会影响性能，所以kafka的顺序消费很少用。consumer group中的consumer instance的数量不能比一个Topic中的partition的数量多，否则多出来的consumer消费不到消息，产生浪费。单播消费：一条消息只能被某一个消费者消费的模式，类似queue模式，只需让所有消费者在同一个消费组里即可。
解开Kafka神秘的面纱(三)：kafka单机部署和集群部署
毛毛的专栏
03-05 3914
文章目录一、前言二、kafka单机安装三、kafka集群安装3.1 zookeeper安装3.2 kafka的安装 一、前言 1、学会kafka的单机和集群模式部署 2、通过kafka的工作流程分析了解kafka中消息生产、存储及消费过程 3、通过kafka的分片存储机制了解kafka高性能的底层 4、熟悉kafka的分区副本选举机制 二、kafka单机安装 三、kafka集群安装 3.1 zookeeper安装 1、第一步：下载，解压，复制zoo.cfg，修改zoo.cfg dataDir=/
kafka 单机集群搭建和监控
11-23
在本文中，我们将深入探讨如何搭建Kafka单机环境与集群，以及如何进行有效的监控。Kafka是由Apache开发的一个分布式流处理平台，广泛应用于实时数据处理、消息传递和日志聚合等场景。以下是对每个主题的详细说明： ...
Kafka安装部署与Java调用.zip
03-01
本资料主要涵盖了Kafka的安装部署以及Java API的调用方法，分为单机版和集群版两种环境。 ### Kafka安装部署 #### 单机版安装 1. **下载**: 首先，你需要从Apache Kafka的官方网站下载最新版本的Kafka。确保下载与...
利用docker和docker-compose部署单机kafka
01-20
本文将详细介绍如何使用Docker和Docker Compose部署单机版Apache Kafka，以及如何进行测试和验证其工作状态。 1. **Docker基础** Docker是一种流行的容器化技术，它允许我们将应用程序及其依赖环境打包成独立的可...
快速部署单机kafka集群（win环境）
08-03
本文不讲kafka集群原理，只谈部署步骤。 默认读者已对kafka有最基本的认知，纯粹作为部署笔记，方便回忆。 另外本文是基于Windows部署的，Linux的步骤是基本相同的（只是启动脚本位置不同）。 kafka集群类型： ...
kafka单机版自动安装shell脚本
02-19
Kafka单机版自动安装Shell脚本是一个便捷的工具，用于简化Apache Kafka在单个服务器上的部署过程。Apache Kafka是一个分布式流处理平台，它被广泛应用于大数据实时处理、消息传递和日志聚合等领域。这个脚本的目的是...
kafka架构+原理+源码
JavaCoder_juejue的博客
07-21 692
1.kafka架构图 2.kafka producer
kafka源码阅读-ControllerChannelManager解析（Controller如何向Broker发送请求）
最新发布
mhHao的博客
07-24 867
Kafka源码包含多个模块，每个模块负责不同的功能。服务端源码：实现Kafka Broker的核心功能，包括日志存储、控制器、协调器、元数据管理及状态机管理、延迟机制、消费者组管理、高并发网络架构模型实现等。Java客户端源码：实现了Producer和Consumer与Broker的交互机制，以及通用组件支撑代码。Connect源码：用来构建异构数据双向流式同步服务。Stream源码：用来实现实时流处理相关功能。Raft源码：实现了Raft一致性协议。Admin模块。
压测实操--kafka broker压测方案
07-24 552
通过调整集群中kafka broker的参数配置，获取不同参数下的吞吐速率。对broker参数的优化应当结合集群主机中的硬件资源进行适当调整。通过调整测试获取最合适的参数配置。更多技术信息请查看云掣官网t=yrgw。
Kafka自学指南：从入门到集群部署
- 教程详细介绍了单机环境和集群环境的搭建部署步骤，这对于理解和操作Kafka集群至关重要。集群环境通常包含多个Broker实例，以实现负载均衡和高可用性。 Kafka自学文档提供了全面的学习路径，涵盖了从基础知识到...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值