Kafka（二）- Kafka集群部署

已于 2022-12-06 17:08:07 修改
阅读量6.3k 收藏 20
点赞数 6
分类专栏： kafka 文章标签： kafka 网络 分布式
于 2022-11-29 15:40:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36602071/article/details/128058604
版权

文章目录

一、安装部署

1. 集群规划

例如在3台服务器上安装zookeeper和kafka

hadoop102hadoop103hadoop104
zookeeperzookeeperzookeeper
kafkakafkakafka

2. 虚拟机前置准备工作

（1）配置IP

需要保证 Linux 系统 ifcfg-ens33 文件中 IP 地址、虚拟网络编辑器地址 和 Windows系统中VMnet8网络IP地址相同

在这里插入图片描述

1.首先配置虚拟网络编辑器地址，点击编辑选择虚拟网络编辑器
在这里插入图片描述

2.选择VMnet8，修改子网IP网段为10，只要跟其他网段不冲突就行
在这里插入图片描述

3.点击Net设置，网段配置一致也是10，网关最后一位默认是2
在这里插入图片描述

4.在Windows上打开网络和共享中心，配置VMnet8
在这里插入图片描述

5.在root用户下输入vim /etc/sysconfig/network-scripts/ifcfg-ens33，当前BOOTPROTO="dhcp"表示动态获取IP地址，每次重启虚拟机，IP都会变化。所以需要修改为BOOTPROTO="static"表示IP地址固定不变。
在这里插入图片描述

6.还需要多加几行配置，最终配置如下：
在这里插入图片描述

（2）修改主机名称和hosts文件

1.配置hostname，输入vim /etc/hostname，修改为hadoop100
在这里插入图片描述
2.在Linux上配置主机名称映射，输入vim /etc/hosts，添加以下内容
在这里插入图片描述
3.重启虚拟机，输入reboot
4.启动后，验证IP
在这里插入图片描述
验证主机名称
在这里插入图片描述

5.修改Windows的主机映射文件hosts，在文件在C:\Windows\System32\drivers\etc目录下
在这里插入图片描述

（3）关闭防火墙，关闭防火墙开机自启

[root@hadoop100 ~]# systemctl stop firewalld
[root@hadoop100 ~]# systemctl disable firewalld.service
注意：在企业开发时，通常单个服务器的防火墙是关闭的。公司整体对外会设置非常安全的防火墙

（4）克隆虚拟机

1.利用模板机 hadoop100，克隆三台虚拟机：hadoop102 hadoop103 hadoop104
注意：克隆时，要先关闭 hadoop100
在这里插入图片描述
在这里插入图片描述在这里插入图片描述

2.修改IP

[root@hadoop100 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33

在这里插入图片描述

3.修改主机名称

[root@hadoop102 ~]# vim /etc/hostname
hadoop102

4.重启服务器

[root@hadoop102 ~]# reboot

3. 集群部署

官方下载地址：http://kafka.apache.org/downloads.html
kafka代码是由2种语言编写，producer和consumer由Java编写，broker由Scala编写，所以安装包一个版本对应Scala，一个版本对应Java。

在这里插入图片描述

（1）解压安装包

下载后的安装包存放在/opt/software/中，再将安装包解压到/opt/module/中。（根据个人习惯选择目录存放）

[root@hadoop102 software]# tar -zxvf kafka_2.12-3.0.0.tgz -C /opt/module/

解压完进入kafka目录，结构如下：
在这里插入图片描述

查看bin目录结构，存放了所有脚本，每个模块都有一个脚本，例如：consumer、producer、topics对应的脚本
kafka-console-consumer.sh、kafka-console-producer.sh、kafka-topics.sh
在这里插入图片描述

（2）修改配置文件

查看config目录结构：
在这里插入图片描述

修改server.properties配置文件：

[hadoop102 config]# vim server.properties

主要修改以下圈出部分的内容：
在这里插入图片描述

（3）编写集群分发脚本

① scp（secure copy）安全拷贝

1.scp 定义：scp 可以实现服务器与服务器之间的数据拷贝。（from server1 to server2）

2.基本语法：

scp   -r     $pdir/$fname         $user@$host:$pdir/$fname
命令 递归  要拷贝的文件路径/名称   目的地用户@主机:目的地路径/名称

3.案例实操
前提：在 hadoop102、hadoop103、hadoop104 都已经创建好的/opt/module、 /opt/software 两个目录

（a）在 hadoop102 上，将 hadoop102 中/opt/module/kafka_2.12-3.0.0 目录拷贝到hadoop103上。
[root@hadoop102 ~]# scp -r /opt/module/kafka_2.12-3.0.0/  root@hadoop103:/opt/module/

（b）也可以在 hadoop104 上，将 hadoop102 中/opt/module/kafka_2.12-3.0.0 目录拷贝到hadoop104上。
[root@hadoop104 ~]# scp -r  root@hadoop102:/opt/module/kafka_2.12-3.0.0   ./

（c）还可以在 hadoop103 上操作，将 hadoop102 中/opt/modulekafka_2.12-3.0.0 目录拷贝到hadoop104上。
[root@hadoop103 ~]# scp -r  root@hadoop102:/opt/module/kafka_2.12-3.0.0   root@hadoop104:/opt/module
② rsync 远程同步工具

rsync 主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。
rsync 和 scp 区别：用 rsync 做文件的复制要比 scp 的速度快，rsync 只对差异文件做更新。scp 是把所有文件都复制过去。

1.基本语法

rsync   -av       $pdir/$fname         $user@$host:$pdir/$fname
命令  选项参数  要拷贝的文件路径/名称    目的地用户@主机:目的地路径/名称
-a 归档拷贝
-v 显示复制过程

2.案例实操

（a）删除 hadoop103 中/opt/module/kafka_2.12-3.0.0 
[root@hadoop103 module]# rm -rf kafka_2.12-3.0.0/

（b）同步 hadoop102 中的/opt/module/kafka_2.12-3.0.0  到 hadoop103
[root@hadoop102 module]# rsync -av /opt/module/kafka_2.12-3.0.0/ root@hadoop103:/opt/module/kafka_2.12-3.0.0/
③ xsync 集群分发脚本

由于每次同步时都要输入很多命令，还要输入密码，所以可以通过 xsync 集群分发脚本，一步到位。
下面演示xsync集群分发脚本的编写与使用
（1）需求：循环复制文件到所有节点的相同目录下

（2）需求分析：

（a）rsync 命令原始拷贝：之前hadoop102 同步到hadoop103、hadoop104需要输入以下命令
[root@hadoop102 module]# rsync -av /opt/module/kafka_2.12-3.0.0/ root@hadoop103:/opt/module/kafka_2.12-3.0.0/
[root@hadoop102 module]# rsync -av /opt/module/kafka_2.12-3.0.0/ root@hadoop104:/opt/module/kafka_2.12-3.0.0/

（b）现在期望只输入以下命令就能同步到所有服务器上
[root@hadoop102 module]# xsync kafka_2.12-3.0.0/

（c）并且期望脚本xsync kafka_2.12-3.0.0/在任何路径都能使用（所以脚本需要放在声明了全局环境变量的路径下）
1.首先查看哪些目录是全局的
[root@hadoop102 module]# echo $PATH
/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin
2.如果不想在提供的目录下存放脚本, 可以添加一个自己的目录到全局环境中（前提是要创建好/home/hadoop/bin目录）
2.1在/etc/profile.d/my_env.sh 文件中增加 export PATH="$PATH:/home/hadoop/bin" 环境变量配置
[root@hadoop102 ~]# vim /etc/profile.d/my_env.sh
export PATH="$PATH:/home/hadoop/bin"
2.2配置完后，刷新一下环境变量
[root@hadoop102 ~]# source /etc/profile
3.再次查看时，多了一个全局目录/home/hadoop/bin
[root@hadoop102 ~]# echo $PATH
/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin:/home/hadoop/bin

（3）编写脚本

（a）在/home/hadoop/bin 目录下创建 xsync 文件，在该文件中编写如下代码
[root@hadoop102 bin]$ vim xsync

#!/bin/bash
#1. $#表示参数个数，判断参数个数是否小于1
if [ $# -lt 1 ]
then
 echo Not Enough Arguement!
 exit;
fi
#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
 #打印输入的主机名
 echo ==================== $host ====================
 #3. 遍历所有目录，逐个发送
 # 例如执行命令：xsync kafka zookeeper，表示先同步kafka文件，再同步zookeeper文件
 for file in $@
 do
 #4. 判断文件是否存在
 if [ -e $file ]
 then
 #5. 获取父目录
 # 先执行cd -P /opt/module，再执行pwd，可以获取当前的父目录，-P表示软链接（P大写）
 pdir=$(cd -P $(dirname $file); pwd)
 #6. 获取当前文件的名称
 # basename /opt/module/kafka， 则当前文件名为kafka
 fname=$(basename $file)
 # ssh hadoop103可以访问hadoop103主机，并且创建目录mkdir -p /opt/module/kafka，-p表示不管目录存不存在都会创建
 ssh $host "mkdir -p $pdir"
 # rsync -av /opt/module/kafka/ root@hadoop103:/opt/module/kafka/
 rsync -av $pdir/$fname $host:$pdir
 else
 echo $file does not exists!
 fi
 done
done

（b）修改脚本 xsync 具有执行权限
[root@hadoop102 bin]# chmod 777 xsync

在这里插入图片描述

（c）执行脚本
[root@hadoop102 ~]# xsync /opt/module/kafka_2.12-3.0.0/
执行完后，hadoop102、hadoop103、hadoop104上都会有kafka_2.12-3.0.0文件

（4）SSH 无密登录配置

由于每向一个服务器进行同步时，都需要输入密码。为了不用每次输密码，所以可以进行SSH无密登录配置

① 配置 ssh

基本语法

1.ssh 另一台电脑的 IP 地址，例如：hadoop102登录到hadoop103
[root@hadoop102 ~]# ssh hadoop103

在这里插入图片描述

2.hadoop103 退回到 hadoop102
[atguigu@hadoop103 ~]$ exit

在这里插入图片描述

② 无密钥配置

1.免密登录原理
首先在A服务器生成密钥对，只将公钥拷贝给B服务器，B服务器会将公钥放在授权key的文件中

在这里插入图片描述

2.生成公钥和私钥

进入.ssh目录，该目录下有个known_hosts文件，再查看known_hosts文件
[root@hadoop102 ~]# cd .ssh/
[root@hadoop102 .ssh]# ll
total 4
-rw-r--r--. 1 root root 558 Nov 28 00:11 known_hosts
[root@hadoop102 .ssh]# cat known_hosts
hadoop103,192.168.10.103 ecdsa-sha2-nistp256 AAAAE2VjZHNhLXNoYTItbmlzdHAyNTYAAAAIbmlzdHAyNTYAAABBBIW8j1y/nhu5Q4K+3VGjTnChzq9cbIjzozabQQcjUCU9PdVFBIdD8PleMmDBEK6NCHzF7EW1m6n6iA1S4ihC3GM=
hadoop104,192.168.10.104 ecdsa-sha2-nistp256 AAAAE2VjZHNhLXNoYTItbmlzdHAyNTYAAAAIbmlzdHAyNTYAAABBBIW8j1y/nhu5Q4K+3VGjTnChzq9cbIjzozabQQcjUCU9PdVFBIdD8PleMmDBEK6NCHzF7EW1m6n6iA1S4ihC3GM=
hadoop102,192.168.10.102 ecdsa-sha2-nistp256 AAAAE2VjZHNhLXNoYTItbmlzdHAyNTYAAAAIbmlzdHAyNTYAAABBBIW8j1y/nhu5Q4K+3VGjTnChzq9cbIjzozabQQcjUCU9PdVFBIdD8PleMmDBEK6NCHzF7EW1m6n6iA1S4ihC3GM=

说明hadoop102访问过hadoop102、hadoop103、hadoop104

配置hadoop102无密登录hadoop103、hadoop104

#输入ssh-keygen -t rsa后，一直点击回车键，直到出现以下结果
[root@hadoop102 .ssh]# ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa):
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:NIVyD44Gsv0U5nVOiN5KA79KFCl4sQvlVO7hlQdhFZA root@hadoop102
The key's randomart image is:
+---[RSA 2048]----+
| .+o..=*o+.      |
|.++o=.Eo*.o      |
|..o=oOoO+*       |
| ..+ooXoo.o      |
|  ..o= +S        |
|    . +          |
|   . .           |
|    .            |
|                 |
+----[SHA256]-----+

# 再次查看.ssh目录，此时生成了公钥和私钥id_rsa、id_rsa.pub
[root@hadoop102 .ssh]# ll
total 12
-rw-------. 1 root root 1675 Nov 28 00:54 id_rsa
-rw-r--r--. 1 root root  396 Nov 28 00:54 id_rsa.pub
-rw-r--r--. 1 root root  558 Nov 28 00:11 known_hosts

# 查看公钥
[root@hadoop102 .ssh]# cat id_rsa.pub
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDC6TzfM8ZEZQ8X0u9zFyWQ65cMuBk8YB3yqEjyEjVYtAHijSg0EpTh3NVrEmWaPaSv+6tCziPYjsdWdIQ1k+h8CgyRnV1vc4UTH+YETcl78ScoLWfDxiEBVmKS4aPMYt21yvExGQ/3wZYGFpGVoiUdpHU/QVbpXPjQZ5KjIkOZxzuqsDx5pUbuLT/TLxB5d0ZGYl5mMmVpFIyPlr+btozGNe23h1KAI/rniIrAqU/jYaeoWcrpFLgmiuoG4DPpPqev+GjBe3CS6ow+2i0UwX9czul+cZMWF58EJrhXX/zD6lC+nr6qX5mUTzuhoQpquYy9YetjhpD4iHOAjwT6sbiX root@hadoop102

# 将hadoop102的公钥复制给hadoop102、hadoop103、hadoop104
[root@hadoop102 .ssh]# ssh-copy-id hadoop102
[root@hadoop102 .ssh]# ssh-copy-id hadoop103
[root@hadoop102 .ssh]# ssh-copy-id hadoop104

# hadoop102再次访问hadoop103时，将不再输入hadoop103的密码
[root@hadoop102 .ssh]# ssh hadoop103
Last login: Mon Nov 28 00:24:06 2022 from hadoop102
[root@hadoop103 ~]#

# 查看hadoop103中的.ssh目录，多了一个authorized_keys文件，该文件尾部有一行root@hadoop102表示允许hadoop102免密登录
[root@hadoop103 .ssh]# ll
total 8
-rw-------. 1 root root 396 Nov 28 00:59 authorized_keys
-rw-r--r--. 1 root root 372 Nov 28 00:51 known_hosts
[root@hadoop103 .ssh]# cat authorized_keys
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDC6TzfM8ZEZQ8X0u9zFyWQ65cMuBk8YB3yqEjyEjVYtAHijSg0EpTh3NVrEmWaPaSv+6tCziPYjsdWdIQ1k+h8CgyRnV1vc4UTH+YETcl78ScoLWfDxiEBVmKS4aPMYt21yvExGQ/3wZYGFpGVoiUdpHU/QVbpXPjQZ5KjIkOZxzuqsDx5pUbuLT/TLxB5d0ZGYl5mMmVpFIyPlr+btozGNe23h1KAI/rniIrAqU/jYaeoWcrpFLgmiuoG4DPpPqev+GjBe3CS6ow+2i0UwX9czul+cZMWF58EJrhXX/zD6lC+nr6qX5mUTzuhoQpquYy9YetjhpD4iHOAjwT6sbiX root@hadoop102

# 再次进行同步分发给其他服务器，不用再输入密码了
[root@hadoop102 bin]# xsync /opt/module/kafka_2.12-3.0.0/

（5）修改集群其他服务器的配置

分别在 hadoop103 和 hadoop104 上修改配置文件/opt/module/kafka_2.12-3.0.0/config/server.properties中的 broker.id=1、broker.id=2
注：broker.id 不得重复，整个集群中唯一。

[root@hadoop103 config]# vim server.properties
修改:broker.id=1
[root@hadoop104 config]# vim server.properties
修改:broker.id=2

（6）配置环境变量

1.在/etc/profile.d/my_env.sh 文件中增加 kafka 环境变量配置
[root@hadoop102 ~]# vim /etc/profile.d/my_env.sh
#KAFKA_HOME
export KAFKA_HOME=/opt/module/kafka_2.12-3.0.0
export PATH=$PATH:$KAFKA_HOME/bin

2.刷新一下环境变量
[root@hadoop102 ~]# source /etc/profile

3.分发环境变量文件到其他服务器，并source /etc/profile
[root@hadoop102 ~]# xsync /etc/profile.d/my_env.sh

[root@hadoop103 ~]$ source /etc/profile
[root@hadoop104 ~]$ source /etc/profile

（7）kafka启动集群

先启动 Zookeeper 集群，然后启动 Kafka。先配置Zookeeper集群

（1）先启动 Zookeeper 集群，然后启动 Kafka。
[root@hadoop102 kafka]$ zk.sh start
（2）依次在 hadoop102、hadoop103、hadoop104 节点上启动 Kafka
[root@hadoop102 kafka_2.12-3.0.0]# bin/kafka-server-start.sh -daemon config/server.properties
[root@hadoop103 kafka_2.12-3.0.0]# bin/kafka-server-start.sh -daemon config/server.properties
[root@hadoop104 kafka_2.12-3.0.0]# bin/kafka-server-start.sh -daemon config/server.properties

（8）kafka关闭集群

[root@hadoop102 kafka_2.12-3.0.0]$ bin/kafka-server-stop.sh 
[root@hadoop103 kafka_2.12-3.0.0]$ bin/kafka-server-stop.sh 
[root@hadoop104 kafka_2.12-3.0.0]$ bin/kafka-server-stop.sh

（9）kafka集群启停脚本

（1）在/home/hadoop/bin 目录下创建文件 kf.sh 脚本文件
[root@hadoop102 bin]$ vim kf.sh
脚本如下：
#! /bin/bash
case $1 in
"start"){
 for i in hadoop102 hadoop103 hadoop104
 do
 echo " --------启动 $i Kafka-------"
 ssh $i "/opt/module/kafka_2.12-3.0.0/bin/kafka-server-start.sh -daemon /opt/module/kafka_2.12-3.0.0/config/server.properties"
 done
};;
"stop"){
 for i in hadoop102 hadoop103 hadoop104
 do
 echo " --------停止 $i Kafka-------"
 ssh $i "/opt/module/kafka_2.12-3.0.0/bin/kafka-server-stop.sh "
 done
};;
esac
（2）添加执行权限
[root@hadoop102 bin]$ chmod +x kf.sh
（3）启动集群命令
[root@hadoop102 ~]$ kf.sh start
（4）停止集群命令
[root@hadoop102 ~]$ kf.sh stop

注意：停止Kafka集群时，一定要等Kafka所有节点进程全部停止后，再停止Zookeeper集群。
因为Zookeeper集群当中记录着Kafka集群相关信息，Zookeeper集群一旦先停止，Kafka集群就没有办法再获取停止进程的信息，只能手动杀死Kafka进程了。
Super_Leng
关注
  • 6
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
kafka2.10-0.8.2.0集群部署
11-07
1、kafka2.10-0.8.2.0集群部署说明 2、配置文件说明 3、注意事项
kafka集群部署
Lucifer ZHAO
08-06 1356
CentOS Kafka 集群环境安装
Kafka集群部署详解
最新发布
Wu 小杰的博客
06-16 1219
1）kafka定义Kafka 被称为下一代分布式消息系统，由 Scala 和 Java编写，是非营利性组织ASF(Apache Software Foundation)基金会中的一个开源项目，比如:HTTP Server、Tomcat、Hadoop、ActiveMQ等开源软件都属于 Apache基金会的开源软件，类似的消息系统还有RabbitMQ、ActiveMQ、ZeroMQ。Kafka用于构建实时数据管道和流应用程序。它具有水平可伸缩性，容错性，快速性，可在数千家组织中同时投入生产协同工作。
Kafka集群部署
爱新觉罗ZBC
04-02 411
需要按照上面配置文件中，对于每台服务器的id定义，在对应服务器的数据目录中，将id写入一个myid文件。修改kafka配置配置文件server.properties。启动时先启动zookeeper集群，再启动kafka集群。关闭时先关闭kafka集群，再关闭zookeeper集群。修改zookeeper.properties配置文件。
Kafka高性能集群部署与优化
BXA
07-07 2555
Kafka是由Apache Software Foundation开发的一个分布式流处理平台，源代码以Scala编写。Kafka最初是由LinkedIn公司开发的，于2011年成为Apache的顶级项目之一。高吞吐量：Kafka每秒可以处理数百万条消息。持久化：数据存储在硬盘上，支持数据可靠性和持久性。分布式：Kafka集群可以在多台服务器上运行，提供高可用性和容错性。多语言支持：Kafka提供多种编程语言的客户端API，包括Java、Python、Go等。
Kafka 概述
weixin_30596735的博客
09-10 203
Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。 Kafka 中，客户端和服务器之间的通信是通过 TCP 协议完成的。 一、传统消息队列的应用场景 二、使用消息队列的好处 1）解耦 允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。 2）可恢复性 系统的一部...
大数据技术之Kafka——Kafka的安装与部署
five小点心的博客
04-13 2042
（2）也可以用命令下载（直接下载到服务器哦！）：将安装包下载到/opt/monitor/kafka文件夹下面下载命令：手动下载移动到/opt/soft/kafka目录下也可以。
kafka-2.13-3.4.0.tgz
02-10
Kafka 2.13-3.4.0版本包含Kafka Streams库，它是一个轻量级的流处理库，可以直接在Kafka集群上运行，用于构建实时数据处理应用。 8. **Kafka Connect**： Kafka Connect提供了一种标准接口，用于集成其他系统，如...
kafka-2.12-3.6.1.tgz
12-19
Kafka支持集群部署，可以添加更多的Broker节点以提高可用性和容错性。同时，还可以配置诸如offset存储、acks策略、网络缓冲区大小等参数，以适应不同的性能和持久化需求。 总结 Kafka 2.12-3.6.1在Linux环境中的...
docker-kafka-cluster集群安装
02-22
使用Docker部署Kafka集群，可以简化环境配置，提高部署效率，同时也便于进行扩展和维护。通过理解Kafka的配置选项，我们可以更好地定制和优化集群以满足具体需求。结合Zookeeper管理Kafka的元数据，可以在分布式环境...
kafka-eagle-bin-2.1.0.tar.gz
07-05
Kafka Eagle是一款针对Apache Kafka设计的开源管理工具，旨在提供一个直观且高效的监控和运维界面，以帮助管理员更好地管理和维护Kafka集群。其2.1.0版本是2022年7月发布的最新版本，包含了对Kafka各种功能的优化和...
kafaka简介
11-13
kafka入门简介，讲述kafka环境搭建，和kafka基本原理的介绍
kafka集群部署教程
manitod的博客
02-02 466
kafka集群部署教程
Kafka集群搭建详细步骤
爱分享的淘金达人
11-22 2939
Kafka集群搭建 1、 Kafka的安装需要java环境，cent os 7自带java1.6版本，可以不用重新安装，直接使用自带的jdk 即可；如果觉得jdk版本太旧，也可以自己重新安装； 2、 准备好kafka安装包，官网下载地址： http://kafka.apache.org/downloads.html 3、 下载好kafka安装包后，将其解压到/usr/local目录下，删
kafka集群介绍
unschooledrat的博客
05-03 2555
Kafka 是最初由 Linkedin 公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于 Zookeeper 协调的分布式消息中间件系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景，比如基于 hadoop 的批处理系统、低延迟的实时系统、Spark/Flink 流式处理引擎，nginx 访问日志，消息服务等等，用 scala 语言编写，消费者组中的每个消费者，都会实时记录自己消费到了哪个 offset，以便出错恢复时，从上次的位置继续消费。
Kafka（二）： Kafka 集群部署与使用
在前进的路上
05-21 2357
Kafka是一种分布式的发布（producer）/订阅（consumer）的消息系统，并支持实时和离线的数据处理、可扩展、持久的。上一次已经对kafka做了介绍，今天我们介绍如何部署、创建主题并发布消息和订阅消息。
kafka部署与简单使用
zilong230905的专栏
05-14 2090
本次部署参照官方的quick start，链接：http://kafka.apache.org/quickstart 本次部署kafka版本 kafka_2.11-0.10.2.0.tgz，下载地址为http://kafka.apache.org/downloads
Kafka 安装部署及使用(单节点/集群)
热门推荐
harvey的博客
01-26 2万+
导读：       本篇博客，笔者会介绍三种安装Kafka的方式，分别为：单节点单Broker部署、单节点多Broker部署、集群部署（多节点多Broker）。实际生产环境中使用的是第三种方式，以集群的方式来部署Kafka。       Kafka强依赖ZK，如果想要使用Kafka，就必须安装ZK，Kafka中的消费偏置信息、kafka集群、topic信息会被存储在ZK中。有人可能会说我在使用
Kafka集群的搭建
define_us的专栏
05-09 1143
下载 https://www.apache.org/dyn/closer.cgi?path=/kafka/0.11.0.2/kafka_2.11-0.11.0.2.tgz 解压缩 tar -xzf kafka_2.11-1.1.0.tgz cd kafka_2.11-1.1.0 启动zookeeper 在本地2181端口启动ZK。 bin/zookeeper-server-star...
nacos+kafka集群部署
07-27
对于Nacos和Kafka的集群部署，可以按照以下步骤进行操作： 1. Nacos的集群部署： - 下载Nacos的压缩包并解压。 - 修改`nacos/conf/cluster.conf`文件，配置集群中所有节点的IP地址和端口号。 - 启动每个节点的Nacos服务，可以使用命令 `./startup.sh -m standalone` 或者 `./startup.sh -m cluster` 来启动。 2. Kafka的集群部署： - 下载Kafka的压缩包并解压。 - 修改`kafka/config/server.properties`文件，配置集群中每个节点的broker.id、listeners、log.dirs等参数。 - 在每个节点上启动Kafka服务，可以使用命令 `./kafka-server-start.sh -daemon ./config/server.properties` 来启动。 注意事项： - 集群中各个节点的配置需要保持一致，特别是Nacos和Kafka的配置文件。 - 在集群中使用代理或负载均衡器时，需要确保请求能够正确地路由到各个节点。 - 需要确保集群中各个节点之间的网络通信畅通。 希望以上信息对你有所帮助！如果你有任何其他问题，请随时提问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值