zookeeper集群+kafka集群 部署实操

最新推荐文章于 2024-04-09 15:51:44 发布
最新推荐文章于 2024-04-09 15:51:44 发布
阅读量162 收藏
点赞数
分类专栏： 集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_55609837/article/details/119156903
版权

文章目录

一、部署 Zookeeper 集群

示例：

准备3台服务器做Zookeeper集群

192.168.80.40
192.168.80.200
192.168.80.101

1.安装前准备
//关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
setenforce 0

//安装JDK
yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel
java -version
//下载安装包
官方下载地址: https://archive.apache.org/dist/zookeeperl

cd /opt
wget https://archive.apache.org/dist/zookeeper/zookeeper-3.5.7/apache-zookeeper-3.5.7-bin.tar.gz

2.安装Zookeeper
cd /opt
tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz
mv apache-zookeeper-3.5.7-bin /usr/local/zookeeper-3.5.7


//修改配置文件
cd /usr/local/zookeeper-3.5.7/conf/
cp zoo_sample.cfg zoo.cfg

vim zoo.cfg
tickTime=2000
#通信心跳时间，Zookeeper服务器与客户端心跳时间，单位毫秒
initLimit=10
#Leader和Follower初始连接时能容忍的最多心跳数(tickTime的数量)，这里表示为10*2s
syncLimit=5
#Leader和Follower之间同步通信的超时时间，这里表示如果超过5*2s，Leader认 为Follwer死掉，并从服务器列表中删除Follwer
dataDir=/usr/local/zookeeper-3.5.7/data   ●修改，指定保存Zookeeper中的数据的目录，目录需要单独创建
dataLogDir=/usr/local/zookeeper-3.5.7/logs   ●添加， 指定存放日志的目录，目录需要单独创建
clientPort=2181
#客户端连接端口

#添加集群信息
server.1=192.168.80.40:3188:3288
server.2=192.168.80.200:3188:3288
server.3=192.168.80.101:3188:3288

---------------------------------------------------------------
server.A=B:C:D
●A是一个数字，表示这个是第几号服务器。集群模式下需要在zoo.cfg中dataDir指定的目录下创建一个文件myid，这个文件里面有一个数据就是A的值，Zookeeper启动时读取此文件，拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底是哪个server
●B是这个服务器的地址
●c是这个服务器Follower与集群中的Leader服务器交换信息的端口
●D是万一集群中的Leader服务器挂了，需要一个端口来重新进行选举，选出一个新的Leader，而这个端口就是用来执行选举时服务器相互通信的端口
---------------------------------------------------------------

//拷贝配置好的Zookeeper 配置文件到其他机器上
scp /usr/local/zookeeper-3.5.7/conf/zoo.cfg 192.168.80.200:/usr/local/zookeeper-3.5.7/conf/
scp /usr/local/zookeeper-3.5.7/conf/zoo.cfg 192.168.80.101:/usr/local/zookeeper-3.5.7/conf/

//在每个节点上创建数据目录和日志目录
mkdir /usr/local/zookeeper-3.5.7/data
mkdir /usr/1ocal/zookeeper-3.5.7/1ogs


//在每个节点的dataDir指定的目录下创建一个myid的文件
echo 1 > /usr/local/zookeeper-3.5.7/data/myid
echo 2 > /usr/local/zookeeper-3.5.7/data/myid
echo 3 > /usr/local/zookeeper-3.5.7/data/myid

//配置Zookeeper 启动脚本
vim /etc/init.d/zookeeper
#!/bin/bash
#chkconfig:2345 20 90
#description: Zookeeper Service Control Script
ZK_HOME='/usr/local/zookeeper-3.5.7'
case $1 in
start)
echo "-----zookeeper启动-----"
$ZK_HOME/bin/zkServer.sh start
;;
stop)
echo "----zookeeper停止-------"
$ZK_HOME/bin/ zkServer.sh stop
;;
restart)
echo "----zookeeper重启-------"
$ZK_HOME/bin/zkServer.sh restart
;;
status)
echo  "-----zookeeper状态------"
$ZK_HOME/bin/zkServer.sh status 
;;
*)
echo "Usage: $0 {start|stop|restart|status}"
esac


//设置开机自启
chmod +x /etc/init.d/zookeeper
chkconfig --add zookeeper

//分别启动 Zookeeper
service zookeeper start

//查看当前状态
service zookeeper status

1.安装前准备
① 安装JDK
在这里插入图片描述

② 查看版本
在这里插入图片描述

2.安装Zookeepe

在这里插入图片描述
在这里插入图片描述
3.修改配置文件

① 复制配置文件

在这里插入图片描述
② 修改配置，添加集群信息

在这里插入图片描述

4.在每个节点上创建数据目录和日志目录
在这里插入图片描述
5.在每个节点的dataDir指定的目录下创建一个myid的文件
在这里插入图片描述在这里插入图片描述
6.配置Zookeeper启动脚本

在这里插入图片描述

7.设置开机自启

chmod +x /etc/init.d/zookeeper
chkconfig --add zookeeper

8.分别启动 Zookeeper并查看状态

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

二、部署 kafka 集群

基于前面的zookeeper环境做

1.下载安装包
官方下载地址：http://kafka.apache.org/downloads.html

cd /opt
wget https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.7.1/kafka_2.13-2.7.1.tgz


2.安装 Kafka
cd /opt/
tar zxvf kafka_2.13-2.7.1.tgz
mv kafka_2.13-2.7.1 /usr/local/kafka

//修改配置文件
cd /usr/local/kafka/config/
cp server.properties{,.bak}

vim server.properties
broker.id=0    ●21行，broker的全局唯一编号，每个broker不能重复，因此要在其他机器上配置 broker.id=1、broker.id=2
listeners=PLAINTEXT://192.168.80.10:9092    ●31行，指定监听的IP和端口，如果修改每个broker的IP需区分开来，也可保持默认配置不用修改
num.network.threads=3    #42行，broker 处理网络请求的线程数量，一般情况下不需要去修改
num.io.threads=8         #45行，用来处理磁盘IO的线程数量，数值应该大于硬盘数
socket.send.buffer.bytes=102400       #48行，发送套接字的缓冲区大小
socket.receive.buffer.bytes=102400    #51行，接收套接字的缓冲区大小
socket.request.max.bytes=104857600    #54行，请求套接字的缓冲区大小
log.dirs=/usr/local/kafka/logs        #60行，kafka运行日志存放的路径，也是数据存放的路径
num.partitions=1    #65行，topic在当前broker上的默认分区个数，会被topic创建时的指定参数覆盖
num.recovery.threads.per.data.dir=1    #69行，用来恢复和清理data下数据的线程数量
log.retention.hours=168    #103行，segment文件（数据文件）保留的最长时间，单位为小时，默认为7天，超时将被删除
log.segment.bytes=1073741824    #110行，一个segment文件最大的大小，默认为 1G，超出将新建一个新的segment文件
zookeeper.connect=192.168.80.40:2181,192.168.80.200:2181,192.168.80.101:2181    ●123行，配置连接Zookeeper集群地址

//修改环境变量
vim /etc/profile
export KAFKA_HOME=/usr/local/kafka
export PATH=$PATH:$KAFKA_HOME/bin


source /etc/profile

//配置 Zookeeper 启动脚本
vim /etc/init.d/kafka
#!/bin/bash
#chkconfig:2345 22 88
#description:Kafka Service Control Script
KAFKA_HOME='/usr/local/kafka'
case $1 in
start)
	echo "---------- Kafka 启动 ------------"
	${KAFKA_HOME}/bin/kafka-server-start.sh -daemon ${KAFKA_HOME}/config/server.properties
;;
stop)
	echo "---------- Kafka 停止 ------------"
	${KAFKA_HOME}/bin/kafka-server-stop.sh
;;
restart)
	$0 stop
	$0 start
;;
status)
	echo "---------- Kafka 状态 ------------"
	count=$(ps -ef | grep kafka | egrep -cv "grep|$$")
	if [ "$count" -eq 0 ];then
        echo "kafka is not running"
    else
        echo "kafka is running"
    fi
;;
*)
    echo "Usage: $0 {start|stop|restart|status}"
esac

//设置开机自启
chmod +x /etc/init.d/kafka
chkconfig --add kafka

//分别启动 Kafka
service kafka start


3.Kafka 命令行操作
//创建topic
kafka-topics.sh --create --zookeeper 192.168.80.40:2181,192.168.80.200:2181,192.168.80.101:2181 --replication-factor 2 --partitions 3 --topic test

-------------------------------------------------------------------------------------
--zookeeper：定义 zookeeper 集群服务器地址，如果有多个 IP 地址使用逗号分割，一般使用一个 IP 即可
--replication-factor：定义分区副本数，1 代表单副本，建议为 2 
--partitions：定义分区数 
--topic：定义 topic 名称
-------------------------------------------------------------------------------------

//查看当前服务器中的所有 topic
kafka-topics.sh --list --zookeeper 192.168.80.40:2181,192.168.80.200:2181,192.168.80.101:2181 

//查看某个 topic 的详情
kafka-topics.sh  --describe --zookeeper 192.168.80.40:2181,192.168.80.200:2181,192.168.80.101:2181 

//发布消息
kafka-console-producer.sh --broker-list 192.168.80.40:9092,192.168.80.200:9092,192.168.80.101:9092  --topic test

//消费消息
kafka-console-consumer.sh --bootstrap-server 192.168.80.40:9092,192.168.80.200:9092,192.168.80.101:9092 --topic test --from-beginning

-------------------------------------------------------------------------------------
--from-beginning：会把主题中以往所有的数据都读取出来
-------------------------------------------------------------------------------------

//修改分区数
kafka-topics.sh --zookeeper 192.168.80.10:2181,192.168.80.11:2181,192.168.80.12:2181 --alter --topic test --partitions 6

//删除 topic
kafka-topics.sh --delete --zookeeper 192.168.80.10:2181,192.168.80.11:2181,192.168.80.12:2181 --topic test

1.检查之前zookeeper集群的状态，
由于步骤相同，我这里只展示一台设备的搭建
在这里插入图片描述

2.在/opt目录下放入安装包，解压

在这里插入图片描述
3.移动并将配置文件进行备份

在这里插入图片描述
4.修改配置文件
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

5.修改环境变量

vim /etc/profile

在这里插入图片描述
在这里插入图片描述
6.配置 Zookeeper 启动脚本
在这里插入图片描述
7.设置开机自启并启动
在这里插入图片描述

测试

创建topic
在这里插入图片描述

查看某个 topic 的详情

在这里插入图片描述
发布消息
在这里插入图片描述

消费消息
服务器需先开启消费消息，所以可以按顺序显示消息

在这里插入图片描述

三、部署Filebeat+Kafka+ELK

1.部署 Zookeeper+Kafka 集群

2.部署 Filebeat 
cd /usr/local/filebeat

vim filebeat.yml
filebeat.prospectors:
- type: log
  enabled: true
  paths:
    - /var/log/messages
    - /var/log/*.log
......
#添加输出到 Kafka 的配置
output.kafka:
  enabled: true
  hosts: ["192.168.80.40:9092","192.168.80.200:9092","192.168.80.101:9092"]    #指定 Kafka 集群配置
  topic: "filebeat_test"    #指定 Kafka 的 topic
  
#启动 filebeat
./filebeat -e -c filebeat.yml


3.部署 ELK，在 Logstash 组件所在节点上新建一个 Logstash 配置文件
cd /etc/logstash/conf.d/

vim filebeat.conf
input {
    kafka {
        bootstrap_servers => "192.168.80.40:9092,192.168.80.200:9092,192.168.80.101:9092"
        topics  => "filebeat_test"
        group_id => "test123"
        auto_offset_reset => "earliest"
    }
}

output {
    elasticsearch {
        hosts => ["192.168.80.100:9200"]
        index => "filebeat-%{+YYYY.MM.dd}"
    }
    stdout {
        codec => rubydebug
    }
}

#启动 logstash
logstash -f filebeat.conf


4.浏览器访问 http://192.168.80.30:5601 登录 Kibana，单击“Create Index Pattern”按钮添加索引“filebeat-*”，单击 “create” 按钮创建，单击 “Discover” 按钮可查看图表信息及日志信息。

1.部署 Zookeeper+Kafka 集群

参考上一个实验，filebeat+kafka已经部署完成。

2.部署 Filebeat

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
删除filebeat索引
在这里插入图片描述
在node1服务器上对接kafka（因为之前在node1上做的filebeat）

① 安装httpd服务，后面要收集node1的Apache访问日志。
在这里插入图片描述
② 开启httpd服务
在这里插入图片描述
③ 修改日志采集路径
在这里插入图片描述

在这里插入图片描述
④ 使用grep查看主要配置项
在这里插入图片描述
⑤ 启动 filebeat

在这里插入图片描述
部署 ELK，在 Logstash 组件所在节点上新建一个 Logstash 配置文件

①修改配置文件
在这里插入图片描述
② logstash -f filebeat.conf
启动
在这里插入图片描述
③ 使用宿主机访问node1的Apache首页

在这里插入图片描述
④ 在node1上可以看到数据正在接受，刚刚访问的日志也可以看到
在这里插入图片描述

zzzniubility
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
zookeeper、kafka集群部署
10-08
zookeeper配置、集群部署 kafka配置、集群部署 Window平台下
zookeeper+kafka集群搭建及安装包
11-15
6. **配置Kafka**：修改`config/server.properties`，设置`zookeeper.connect`为Zookeeper集群的连接字符串，例如 `zookeeper.connect=ip1:port1,ip2:port2,ip3:port3`。同时，配置其他参数，如`broker.id`，确保每...
Zookeeper集群 + Kafka集群的详解与部署（以及Filebeat+Kafka+ELK ）
qq_51545656的博客
01-03 2681
Zookeeper是一个分布式的开源协调服务，用于管理和维护大型分布式系统中的配置信息、命名服务、状态同步等。它提供了一个可靠的分布式环境，用于协调多个节点之间的通信和管理。Kafka 是一个开源的分布式流处理平台和消息队列系统，最初由 LinkedIn 开发并于2010年成为 Apache 软件基金会的顶级项目。它的设计目标是处理大规模数据流并提供高吞吐量、持久性、可扩展性和容错性。Kafka 是一个分布式的基于发布/订阅模式的消息队列（MQ，Message Queue），主要应用于大数据实时处理领域。
zookeeper集群+Kafka集群
m0_75209491的博客
11-29 1042
主题(topic)相当于Kafka队列的名称生产者负责发布数据消费者负责消费数据分区就是存储生产者发布的数据偏移量就是数据在分区中的位置生产者发布数据生产者消费数据经纪人负责管理生产者发布的数据1、 zookeeper主要是分布式、观察者模式，统一各个服务器节点的数据。在Kafka当中，手机保存Kafka的元数据2、 Kafka消息队列：是订阅发布模式Kafka：速度快，资源占用量高RABBIT MQ：轻量级3、 Kafka的组件：主题：topic。一个主题就相当于1个微信群。
Zookeeper集群 + Kafka集群
2301_76352247的博客
01-23 1096
1.Zookeeper 定义Zookeeper是一个开源的分布式的，为分布式框架提供协调服务的Apache项目。2.Zookeeper 工作机制Zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应。也就是说 Zookeeper = 文件系统 + 通知机制。3.Zookeeper 特点。
zookeeper集群+kafka集群
wyh20030130的博客
12-08 1454
可恢复性：系统当中的有一部分组件消失，不影响整个系统，也就是说再消息队列当中，即使有一个处理消息的进程失败，一旦恢复，还可以重新加入到队列当中，继续处理消息。主题：topic topic类似一个数据流的管道，生产者把消息发布到主题，消费者从主题当中订阅数据，主题可以分区，每个分区都有自己的偏移量。B 启动，再发起一次选举，A和B分别投自己一票，交换选票信息，myid，A发现B的myid比A大，A的这一票转而投给B。只要通信保证，其他的修改不影响整个集群，每个组件可以独立的扩展，修改，降低组件之间的依赖性。
阿里云服务器部署zookeeper集群+kafka集群
BrillianY的博客
01-21 747
阿里云部署zookeeper集群+kafka集群，遇到的问题及解决
Zookeeper集群+Kafka集群
masonyong的博客
09-04 311
Zookeeper 定义Zookeeper是一个开源的分布式的，为分布式框架提供协调服务的Apache项目。Zookeeper 工作机制Zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应。也就是说 Zookeeper = 文件系统 + 通知机制。
Zookeeper集群+kafka集群
zcien的博客
04-09 1632
Zookeeper集群+kafka集群
zookeeper 集群 + kafka 集群 : 安装部署（附单机部署）
yuyu的博客
07-24 1644
保姆级 zookeeper 集群 + kafka 集群 : 安装部署教程
docker-compose搭建zookeeper+kafka集群
2301_81023618的博客
04-09 649
2. 规划zk和kafka的IP地址。三、创建zookeeper集群。1. 规划一个集群使用的子网。1. 创建zk.yaml文件。
Zookeeper + kafka概念及部署
FYR1018的博客
07-03 996
1 Zookeeper（分布式的系统管理框架）1.1 Zookeeper 工作机制1.2 Zookeeper 特点1.4 Zookeeper 数据结构1.5 Zookeeper 应用场景(不重要)1.6 Zookeeper 选举机制（重点）1.6.1 第一次启动选举机制1.6.2 非第一次启动选举机制2 部署 Zookeeper 集群3 Kafka4 部署 kafka 集群......
部署zookeeper+kafka
04-25
一、二进制安装 1.安装jdk，二进制安装以及yum安装 2.安装zookeeper 3.部署kafka ...1.搭建zookeeper集群 2.搭建kafka集群 3.测试Zookeeper中Kafka节点信息 4.测试Kafka中创建Topic，Zookeeper中的接受情况
spring+zookeeper+kafka
09-22
配置Kafka的服务器设置，确保它能正确连接到Zookeeper集群。 3. **集成Spring与Zookeeper**：在Spring Boot项目中引入Spring Cloud Zookeeper依赖，配置Zookeeper的连接信息。创建服务提供者和服务消费者，利用...
集群环境搭建-Centos+kafka+zookeeper+hadoop+Spark
12-19
通过VirtualBox安装多台虚拟机，实现集群环境搭建。 优势：一台电脑即可。 应用场景：测试，学习。...内附百度网盘下载地址，有hadoop+zookeeper+spark+kafka等等·····需要的安装包和配置文件
鹈鹕算法POA-Kmean-Transformer-LSTM组合状态识别分类【含Matlab源码 6749期】.zip
08-02
CSDN海神之光上传的全部代码均可运行，亲测可用，直接替换数据即可，适合小白； 1、代码压缩包内容 主函数：Main.m； 调用函数：其他m文件；无需运行 运行结果效果图； 2、代码运行版本 Matlab 2019b；若运行有误，根据提示修改；若不会，可私信博主； 3、运行操作步骤 步骤一：将所有文件放到Matlab的当前文件夹中； 步骤二：双击打开除Main.m的其他m文件； 步骤三：点击运行，等程序运行完得到结果； 4、仿真咨询 如需其他服务，可私信博主或扫描博主博客文章底部QQ名片； 4.1 CSDN博客或资源的完整代码提供 4.2 期刊或参考文献复现 4.3 Matlab程序定制 4.4 科研合作 智能优化算法优化Kmeans-Transformer-lstm分类预测系列程序定制或科研合作方向： 4.4.1 遗传算法GA/蚁群算法ACO优化Kmeans-Transformer-lstm分类 4.4.2 粒子群算法PSO/蛙跳算法SFLA优化Kmeans-Transformer-lstm分类 4.4.3 灰狼算法GWO/狼群算法WPA优化Kmeans-Transformer-lstm分类 4.4.4 鲸鱼算法WOA/麻雀算法SSA优化Kmeans-Transformer-lstm分类 4.4.5 萤火虫算法FA/差分算法DE优化Kmeans-Transformer-lstm分类 4.4.6 其他优化算法优化Kmeans-Transformer-Lstm分类
三角测量拓扑聚合器TTAO-Kmean-Transformer-BiLSTM负荷预测【含Matlab源码 6686期】.zip
08-02
CSDN海神之光上传的全部代码均可运行，亲测可用，直接替换数据即可，适合小白； 1、代码压缩包内容 主函数：Main.m； 调用函数：其他m文件；无需运行 运行结果效果图； 2、代码运行版本 Matlab 2019b；若运行有误，根据提示修改；若不会，可私信博主； 3、运行操作步骤 步骤一：将所有文件放到Matlab的当前文件夹中； 步骤二：双击打开除Main.m的其他m文件； 步骤三：点击运行，等程序运行完得到结果； 4、仿真咨询 如需其他服务，可私信博主或扫描博主博客文章底部QQ名片； 4.1 CSDN博客或资源的完整代码提供 4.2 期刊或参考文献复现 4.3 Matlab程序定制 4.4 科研合作 智能优化算法优化Kmeans-Transformer-Bilstm预测系列程序定制或科研合作方向： 4.4.1 遗传算法GA/蚁群算法ACO优化Kmeans-Transformer-Bilstm预测 4.4.2 粒子群算法PSO/蛙跳算法SFLA优化Kmeans-Transformer-Bilstm预测 4.4.3 灰狼算法GWO/狼群算法WPA优化Kmeans-Transformer-Bilstm预测 4.4.4 鲸鱼算法WOA/麻雀算法SSA优化Kmeans-Transformer-Bilstm预测 4.4.5 萤火虫算法FA/差分算法DE优化Kmeans-Transformer-Bilstm预测 4.4.6 其他优化算法优化Kmeans-Transformer-Bilstm预测
S9300X-V200R021C00SPC100-MPUE主控版本
08-02
S9300X-V200R021C00SPC100-MPUE主控版本，支持S9300X-4/8/12
【创新未发表】Matlab实现哈里斯鹰优化算法HHO-RF实现风电预测算法研究.rar
最新发布
08-02
1.版本：matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 5.作者介绍：某大厂资深算法工程师，从事Matlab算法仿真工作10年；擅长智能优化算法、神经网络预测、信号处理、元胞自动机等多种领域的算法仿真实验，更多仿真源码、数据集定制私信+。 替换数据可以直接使用，注释清楚，适合新手
在k8s上部署 zookeeper + kafka 集群 配置教程
06-13
好的，以下是一个基本的在k8s上部署zookeeper + kafka集群的配置教程： 1. 创建一个namespace 首先，我们需要创建一个namespace，用于部署zookeeper和kafka集群。可以使用以下命令创建一个名为“zookeeper-kafka”...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值