部署zookeeper+kafka

已于 2024-04-25 16:22:02 修改
阅读量1.1k 收藏 9
点赞数 9
分类专栏： MQ 文章标签： zookeeper kafka 分布式
于 2024-04-25 16:21:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_73562288/article/details/138191127
版权

目录

一、二进制安装

1.安装jdk

（1）yum 安装

（2）二进制安装

2.部署 zookeeper

3.部署kafka

01.安装

02.常用命令

03.示例

创建topic

创建 Kafka 生产者

创建Kafka消费者

运行示例

二、 docker 安装

1.搭建zookeeper集群

01.docker镜像拉取、docker网络创建

02.创建挂载目录

03.创建配置文件

04.zoo.cfg配置文件内容

05.集群模式启动

01.主节点启动

02.从节点1启动

03.从节点2启动

06.查看集群启动的状态

2.Kafka集群的搭建

01.拉取kafka的镜像文件

02.运行kafka_zookeeper_master节点

03.运行kafka_zookeeper_node1节点

04.运行kafka_zookeeper_node2节点

3.测试Zookeeper中Kafka节点信息

01.进入容器，开启客户端

02.查看全部节点信息

03.查看brokers

04.查看ids,kafka的broker.id以及节点下存储的详细信息

4.测试Kafka中创建Topic，Zookeeper中的接受情况

01.创建一个Topic

02.查看zookeeper集群中topic的信息

03.其它kafka节点查看这个topic

一、二进制安装

1.安装jdk

（1）yum 安装

yum search java | greo jdk
yum install -y java-1.8.0-openjdk
java -verison

（2）二进制安装

# 下载包
mkdir /usr/local/java && cd /usr/local/java
wget https://download.oracle.com/java/22/latest/jdk-22_linux-x64_bin.tar.gz
tar -zxvf jdk-22_linux-x64_bin.tar.gz
​
# 配置环境变量
vi /etc/profile
#set jdk
JAVA_HOME=/usr/local/java/jdk-22.0.1
CLASSPATH=$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME CLASSPATH PATH
​
# 使配置生效
source /etc/profile
​
# 查看版本
java -version

2.部署 zookeeper

# zookeeper 官网
https://zookeeper.apache.org/
# 下载安装最新稳定版 3.8.4 版本
wget https://dlcdn.apache.org/zookeeper/zookeeper-3.8.4/apache-zookeeper-3.8.4-bin.tar.gz --no-check-certificate
#创建工作目录
mkdir /app/zookeeper
tar -zxvf apache-zookeeper-3.8.4-bin.tar.gz
#声明环境变量
vim /etc/profile
#zookeeper
export ZOOKEEPER_HOME=/app/zookeeper/apache-zookeeper-3.8.4-bin
export PATH=$PATH:${ZOOKEEPER_HOME}/bin
# 使环境变量生效
source /etc/profile
#配置zookeeper
cd /app/zookeeper/apache-zookeeper-3.8.4-bin/conf
​
cp -p zoo_sample.cfg zoo.cfg
​
vim zoo.cfg
#用于计算的时间单元，以毫秒为单位，比如session超时：N*tickTime
tickTime=2000
#用于集群，允许从节点链接并同步到master节点的初始化连接时间，以tickTime的倍数来表示
initLimit=10
#用于集群，master主节点与从节点之间发送消息，请求和应答时间长度（心跳机制）
syncLimit=5
#连接服务器的端口，默认是2181
clientPort=2181
​
#存放数据文件夹
dataDir=/app/zookeeper/apache-zookeeper-3.8.4-bin/data
#添加日志存放文件夹
dataLogDir=/app/zookeeper/apache-zookeeper-3.8.4-bin/dataLog
#集群信息,地址:LF通信端口：选举端口
server.1=10.88.62.179:2888:3888
server.2=10.88.62.180:2888:3888
server.3=10.88.62.181:2888:3888
#在/app/zookeeper/apache-zookeeper-3.8.4-bin/data数据目录下创建新文件 myid ,分别写入1，2，3
#主节点
echo 1 > /app/zookeeper/apache-zookeeper-3.8.4-bin/data/myid

#从节点1
echo 2 > /app/zookeeper/apache-zookeeper-3.8.4-bin/data/myid

#从节点2
echo 3 > /app/zookeeper/apache-zookeeper-3.8.4-bin/data/myid
#启动zk服务
zkServer.sh start
​
#查看集群状态
zkServer.sh status

3.部署kafka

01.安装

# 官网地址
https://kafka.apache.org/downloads
https://kafka.apache.org/documentation.html#gettingStarted 
# 下载3.7.0版本
wget https://www.apache.org/dist/kafka/3.7.0/kafka_2.12-3.7.0.tgz --no-check-certificate
#创建工作目录
mkdir /app/kafka
tar -zxvf kafka_2.13-3.7.0.tgz
#配置环境变量
vim /etc/profile
#kafka
KAFKA_HOME=/app/kafka/kafka_2.13-3.7.0/
PATH=$PATH:$KAFKA_HOME/bin/
#配置文件
cd /app/kafka/kafka_2.13-3.7.0/config
vim server.properties
#broker 的全局唯一id值，用于集群下每个 kafka 的唯一标识，可以是任意的整数值，默认为 0。
#三个节点，分别修改为1,2,3
broker.id=0
​
#删除 topic 时是否物理删除。默认为 false 或者无此配置项(此时手动添加即可)
#1、如果没有配置 delete.topic.enable，或者值为 false，则删除 topic 时是标记删除，不是真正的物理删除，在 log.dirs 配置的目录下仍然能看到数据，以及在 zk 服务器的 /brokers/topics 路径也能看到数据。
#2、想要删除 topic 时真正的物理删除，此必须配置为 true.
delete.topic.enable=true
​
#处理网络请求与响应的线程数量，默认为 3
num.network.threads=3
​
#服务器用于处理请求的线程数，可能包括磁盘I/O，默认为 8
num.io.threads=8
​
#发送套接字的缓冲区大小，默认为 102400，100 kb
socket.send.buffer.bytes=102400
​
#接收套接字的缓冲区大小，默认为 102400，100 kb
socket.receive.buffer.bytes=102400
​
#请求套接字的缓冲区大小，默认为 104857600，100M
socket.request.max.bytes=104857600
​
#kafka 运行日志存放的路径，改成自定义的即可，kafka 以日志的形式存储数据，这个路径不能随意删除。
log.dirs=/app/kafka/kafka_2.13-3.7.0/logs
​
#topic在当前broker上的分区个数，默认为 1
num.partitions=1
​
#用来恢复和清理data下数据的线程数量，默认为 1
num.recovery.threads.per.data.dir=1
​
#日志文件保留的最长时间，超时将被删除，默认 168 小时，7 天
log.retention.hours=168
​
#日志文件最大大小，超过时会新建
log.segment.bytes=1073741824
​
#基于大小的日志（数据）保留策略，当存储的数据量超过此大小时，就删除旧数据。默认为 1G。此配置默认是被注释的。
log.retention.bytes=1073741824  
​
#检查日志段以查看是否可以根据保留策略删除日志段的间隔
log.retention.check.interval.ms=300000
​
#配置连接 Zookeeper 集群地址，默认为 localhost:2181
zookeeper.connect=10.88.62.179:2181,10.88.62.180:2181,10.88.62.181:2181
​
#连接到zookeeper的超时（毫秒），默认 18 秒
zookeeper.connection.timeout.ms=18000
#三个kafka节点，添加hosts文件，解析主机名
vim /etc/hosts
10.88.62.182    iZl4y0116dv9vahi5mtdjtZ
10.88.62.183    iZl4y0116dv9vahi5mtdjuZ
10.88.62.184    iZl4y0116dv9vahi5mtdjvZ

02.常用命令

#前台启动
kafka-server-start.sh /app/kafka/kafka_2.13-3.7.0/config/server.properties
#后台启动
nohup kafka-server-start.sh -daemon /app/kafka/kafka_2.13-3.7.0/config/server.properties &
#停止
kafka-server-stop.sh
#列出所有topic
kafka-topics.sh --list --bootstrap-server 10.88.62.182:9092,10.88.62.183:9092,10.88.62.184:9092
#查看topic详细信息
kafka-topics.sh --bootstrap-server 10.88.62.182:9092,10.88.62.183:9092,10.88.62.184:9092 --describe --topic mytopic
# 调用生产者生产消息
kafka-console-producer.sh --broker-list 10.88.62.182:9092,10.88.62.183:9092,10.88.62.184:9092 --topic mytopic
# 调用消费者消费消息，from-beginning表示读取全部的消息
vim config/consumer.properties

# 配置 kafka服务地址，多个服务使用逗号分隔
bootstrap.servers=localhost:9092
# 消费者组id
group.id=test-consumer-group
#启动消费者
kafka-console-consumer.sh --bootstrap-server 10.88.62.182:9092,10.88.62.183:9092,10.88.62.184:9092 --topic mytopic --from-beginning
#消费者拉取消息
kafka-console-consumer.sh --bootstrap-server 10.88.62.182:9092,10.88.62.183:9092,10.88.62.184:9092 --topic test --consumer.config ../config/consumer.properties
# 删除topic
kafka-topics.sh --bootstrap-server 10.88.62.182:9092,10.88.62.183:9092,10.88.62.184:9092 --delete --topic mytopic

03.示例

创建topic
kafka-topics.sh --create --topic my-topic --bootstrap-server 10.88.62.182:9092,10.88.62.183:9092,10.88.62.184:9092 --partitions 3 --replication-factor 1
创建 Kafka 生产者
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.common.serialization.StringSerializer;
​
import java.util.Properties;
​
public class KafkaProducerExample {
​
    public static void main(String[] args) {
        Properties properties = new Properties();
        properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "10.88.62.182:9092,10.88.62.183:9092,10.88.62.184:9092");
        properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
        properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
​
        KafkaProducer<String, String> producer = new KafkaProducer<>(properties);
        String topic = "my-topic";
​
        for (int i = 0; i < 10; i++) {
            String message = "Message " + i;
            producer.send(new ProducerRecord<>(topic, message));
            System.out.println("Sent: " + message);
        }
​
        producer.close();
    }
}
创建Kafka消费者
import org.apache.kafka.clients.consumer.Consumer;
import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.common.serialization.StringDeserializer;
​
import java.time.Duration;
import java.util.Collections;
import java.util.Properties;
​
public class KafkaConsumerExample {
​
    public static void main(String[] args) {
        Properties properties = new Properties();
        properties.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "10.88.62.182:9092,10.88.62.183:9092,10.88.62.184:9092");
        properties.put(ConsumerConfig.GROUP_ID_CONFIG, "my-group");
        properties.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
        properties.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
​
        Consumer<String, String> consumer = new KafkaConsumer<>(properties);
        String topic = "my-topic";
​
        consumer.subscribe(Collections.singletonList(topic));
​
        while (true) {
            ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
            records.forEach(record -> {
                System.out.println("Received: " + record.value());
            });
        }
    }
}
运行示例
#打开一个终端窗口，运行 Kafka 生产者示例
java KafkaProducerExample
​
#打开另一个终端窗口，运行 Kafka 消费者示例：
java KafkaConsumerExample

二、 docker 安装

1.搭建zookeeper集群

01.docker镜像拉取、docker网络创建

#Docker拉取Zookeeper的镜像文件
docker pull wurstmeister/zookeeper
​
#Docker创建 bridge 网络，创建自定义网络
docker network create --driver bridge --subnet 172.18.0.0/16 zookeeper_network
​
#查看已经存在的网络
docker network ls

02.创建挂载目录

主节点创建目录

# 创建 zookeeper 主节点配置存放目录
mkdir -p /mydata/zookeeper_kafka/master/conf
# 创建 zookeeper 主节点数据存放目录
mkdir -p /mydata/zookeeper_kafka/master/data
# 创建 zookeeper 主节点数据日志存放目录
mkdir -p /mydata/zookeeper_kafka/master/datalog
# 创建 zookeeper 主节点日志存放目录
mkdir -p /mydata/zookeeper_kafka/master/logs

从节点1创建目录

# 创建 zookeeper 节点1 配置存放目录
mkdir -p /mydata/zookeeper_kafka/node1/conf
# 创建 zookeeper 节点1 数据存放目录
mkdir -p /mydata/zookeeper_kafka/node1/data
# 创建 zookeeper 节点1 数据日志存放目录
mkdir -p /mydata/zookeeper_kafka/node1/datalog
# 创建 zookeeper 节点1 日志存放目录
mkdir -p /mydata/zookeeper_kafka/node1/logs

​从节点2创建目录

# 创建 zookeeper 节点2 配置存放目录
mkdir -p /mydata/zookeeper_kafka/node2/conf
# 创建 zookeeper 节点2 数据存放目录
mkdir -p /mydata/zookeeper_kafka/node2/data
# 创建 zookeeper 节点2 数据日志存放目录
mkdir -p /mydata/zookeeper_kafka/node2/datalog
# 创建 zookeeper 节点2 日志存放目录
mkdir -p /mydata/zookeeper_kafka/node2/logs

03.创建配置文件

主节点创建配置文件

# zookeeper 主节点配置存放目录
cd /mydata/zookeeper_kafka/master/conf
# 编辑配置文件
vim zoo.cfg
​
#创建myid文件
echo 1 > /mydata/zookeeper_kafka/master/data/myid

从节点1配置文件

# zookeeper 节点1 配置存放目录
cd /mydata/zookeeper_kafka/node1/conf
# 编辑配置文件
vim zoo.cfg
​
#创建myid文件
echo 2 > /mydata/zookeeper_kafka/node1/data/myid

从节点2配置文件

# zookeeper 节点2 配置存放目录
cd /mydata/zookeeper_kafka/node2/conf
# 编辑配置文件
vim zoo.cfg
​
#创建myid文件
echo 3 > /mydata/zookeeper_kafka/node2/data/myid
补充:也可以直接使用cp命令，将文件复制拷贝到其他目录下:

cp zoo.cfg /mydata/zookeeper_kafka/node1/conf 
cp zoo.cfg /mydata/zookeeper_kafka/node2/conf 
cd /mydata/zookeeper_kafka/node2/conf

04.zoo.cfg配置文件内容

# Zookeeper保存数据的目录，默认情况下，Zookeeper将写数据的日志文件也保存在这个目录里
dataDir=/opt/zookeeper-3.4.13/data
​
# 事物日志存储地点，如果没提供的话使用的则是 dataDir
dataLogDir=/opt/zookeeper-3.4.13/datalog
​
# 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个 tickTime 时间就会发送一个心跳。tickTime以毫秒为单位
tickTime=2000
​
# 集群中的follower服务器(F)与leader服务器(L)之间初始连接时能容忍的最多心跳数（tickTime的数量）
initLimit=5
​
# 集群中的follower服务器与leader服务器之间请求和应答之间能容忍的最多心跳数（tickTime的数量）
syncLimit=2
​
# 默认值为3，不支持以系统属性方式配置。用于配置Zookeeper在自动清理的时候需要保留的快照数据文件数量和对应的事务日志文件。此参数的最小值为3，如果配置的值小于3会自动调整到3
autopurge.snapRetainCount=3
​
# 默认值为0，单位为小时，不支持以系统属性方式配置。用于配置Zookeeper进行历史文件自动清理的频率。如果配置为0或负数，表示不需要开启定时清理功能
autopurge.purgeInterval=0
​
# 默认为60，不支持以系统属性方式配置。从Socket层面限制单个客户端与单台服务器之间的并发连接数，即以ip地址来进行连接数的限制。
# 如果设置为0，表示不做任何限制。仅仅是单台客户端与单个Zookeeper服务器连接数的限制，不能控制所有客户端的连接数总和
maxClientCnxns=60
​
# 3.5.0中的新功能：当设置为false时，可以在复制模式下启动单个服务器，单个参与者可以使用观察者运行，并且群集可以重新配置为一个节点，并且从一个节点。
# 对于向后兼容性，默认值为true。可以使用QuorumPeerConfig的setStandaloneEnabled方法或通过将“standaloneEnabled = false”或“standaloneEnabled = true”添加到服务器的配置文件来设置它。
standaloneEnabled=false
​
# 内嵌的管理控制台，停用这个服务
admin.enableServer=false
​
# 开启四字命令，将所有命令添加到白名单中
4lw.commands.whitelist=*
​
# 服务端口
clientPort=2181
​
# 集群中服务的列表
server.1=172.18.0.6:2888:3888
server.2=172.18.0.7:2888:3888
server.3=172.18.0.8:2888:3888

05.集群模式启动

01.主节点启动
# 启动命令
docker run -d --restart always \
--name zookeeper_kafka_master \
--network zookeeper_network \
--ip 172.18.0.6 \
-p 2181:2181 \
-e ZOO_MY_ID=1 \
-v /mydata/zookeeper_kafka/master/conf/zoo.cfg:/opt/zookeeper-3.4.13/conf/zoo.cfg \
-v /mydata/zookeeper_kafka/master/data:/opt/zookeeper-3.4.13/data \
-v /mydata/zookeeper_kafka/master/datalog:/opt/zookeeper-3.4.13/datalog \
-v /mydata/zookeeper_kafka/master/logs:/opt/zookeeper-3.4.13/logs \
wurstmeister/zookeeper
02.从节点1启动
# 启动命令
docker run -d --restart always \
--name zookeeper_kafka_node1 \
--network zookeeper_network \
--ip 172.18.0.7 \
-p 2182:2181 \
-e ZOO_MY_ID=2 \
-v /mydata/zookeeper_kafka/node1/conf/zoo.cfg:/opt/zookeeper-3.4.13/conf/zoo.cfg \
-v /mydata/zookeeper_kafka/node1/data:/opt/zookeeper-3.4.13/data \
-v /mydata/zookeeper_kafka/node1/datalog:/opt/zookeeper-3.4.13/datalog \
-v /mydata/zookeeper_kafka/node1/logs:/opt/zookeeper-3.4.13/logs \
wurstmeister/zookeeper
03.从节点2启动
# 启动命令
docker run -d --restart always \
--name zookeeper_kafka_node2 \
--network zookeeper_network \
--ip 172.18.0.8 \
-p 2183:2181 \
-e ZOO_MY_ID=3 \
-v /mydata/zookeeper_kafka/node2/conf/zoo.cfg:/opt/zookeeper-3.4.13/conf/zoo.cfg \
-v /mydata/zookeeper_kafka/node2/data:/opt/zookeeper-3.4.13/data \
-v /mydata/zookeeper_kafka/node2/datalog:/opt/zookeeper-3.4.13/datalog \
-v /mydata/zookeeper_kafka/node2/logs:/opt/zookeeper-3.4.13/logs \
wurstmeister/zookeeper

06.查看集群启动的状态

# 在容器 zookeeper-master 中开启一个交互模式的终端
docker exec -it zookeeper_kafka_master /bin/bash
​
# 查看 zookeeper 状态
cd bin
zkServer.sh status

2.Kafka集群的搭建

01.拉取kafka的镜像文件

docker pull wurstmeister/kafka

02.运行kafka_zookeeper_master节点

docker run -d --name kafka_zookeeper_master  --network zookeeper_network -p 9096:9096 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=172.18.0.6:2181,172.18.0.7:2181,172.18.0.8:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://10.0.4.9:9096 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9096 wurstmeister/kafka

03.运行kafka_zookeeper_node1节点

docker run -d --name kafka_zookeeper_node1 --network zookeeper_network -p 9097:9097 -e KAFKA_BROKER_ID=1 -e KAFKA_ZOOKEEPER_CONNECT=172.18.0.6:2181,172.18.0.7:2181,172.18.0.8:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://10.0.4.9:9097 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9097  wurstmeister/kafka

04.运行kafka_zookeeper_node2节点

docker run -d --name kafka_zookeeper_node2 --network zookeeper_network -p 9098:9098 -e KAFKA_BROKER_ID=2 -e KAFKA_ZOOKEEPER_CONNECT=172.18.0.6:2181,172.18.0.7:2181,172.18.0.8:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://10.0.4.9:9098 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9098  wurstmeister/kafka

3.测试Zookeeper中Kafka节点信息

01.进入容器，开启客户端

zkCli.sh

02.查看全部节点信息

ls /
get /controller

03.查看brokers

ls /brokers

04.查看ids,kafka的broker.id以及节点下存储的详细信息

ls /brokers
ls /brokers/ids
ls /brokers/ids/0
ls /brokers/ids/1
ls /brokers/ids/2

4.测试Kafka中创建Topic，Zookeeper中的接受情况

01.创建一个Topic

kafka-topics.sh --create --topic topic_example_1 --zookeeper 172.18.0.6:2181,172.18.0.7:2181,172.18.0.8:2181 --replication-factor 3 --partitions 3

02.查看zookeeper集群中topic的信息

#节点123都要查看
ls /brokers
ls /brokers/topics
ls /brokers/topics/topic_ex
...

03.其它kafka节点查看这个topic

kafka-topics.sh --zookeeper 172.18.0.6:2181,172.18.0.7:2181,172.18.0.8:2181 --list
刘某的Cloud
关注
专栏目录
Kafka+zookeeper集群部署
changyitt的博客
08-09 799
echo -------------------------------- $i kafka 启动 ---------------------------echo -------------------------------- $i kafka 停止 ---------------------------mkdir /opt/zookeeper/zk1/{data,logs} ##在虚机192.168.190.151上。启停kafka：./kafka-cluster.sh stop。
K8s-K8s部署Zookeeper+Kafka+ELFK+持久化数据
作者的博客园已搬家到CSDN，访问博客园主页将默认跳转至CSDN
02-21 1443
K8s环境下容器化部署`Zookeeper+Kafka+ELFK`日志收集系统
Zookeeper和Kafka的部署
weixin_58376680的博客
04-11 3753
Zookeeper是一个开源的分布式的，为分布式框架提供协调服务的Apache项目。
kafka3.8的基本操作
最新发布
sqlora的专栏
09-20 1114
WATCHER::[1, 2, 3]WATCHER::[][0, 1][state]nullnullnull相关参考：内存不足问题：thenfi。
Zookeeper+kafka
m0_74412260的博客
07-13 1768
Zookeeper是一个开源的分布式的，为分布式框架提供协调服务的Apache项目。主要原因是由于在高并发环境下，同步请求来不及处理，请求往往会发生阻塞。比如大量的请求并发访问数据库，导致行锁表锁，最后请求线程会堆积过多，从而触发 too many connection 错误，引发雪崩效应。我们使用消息队列，通过异步处理请求，从而缓解系统的压力。消息队列常应用于异步处理，流量削峰，应用解耦，消息通讯等场景。
Zookeeper+Kafka
Mr_Black0_0的博客
04-14 1772
ZooKeeper 和 Kafka 是紧密结合的，ZooKeeper 负责管理 Kafka 集群的元数据、协调集群中的各个节点、以及消费者组的管理。合理配置和管理 ZooKeeper 对于 Kafka 集群的稳定性和可靠性至关重要，同时也需要关注 ZooKeeper 自身的高可用和监控。通过结合使用 ZooKeeper 和 Kafka，可以构建出可靠、高性能的分布式消息系统。
zookeeper集群+kafka集群
wyh20030130的博客
12-08 1485
可恢复性：系统当中的有一部分组件消失，不影响整个系统，也就是说再消息队列当中，即使有一个处理消息的进程失败，一旦恢复，还可以重新加入到队列当中，继续处理消息。主题：topic topic类似一个数据流的管道，生产者把消息发布到主题，消费者从主题当中订阅数据，主题可以分区，每个分区都有自己的偏移量。B 启动，再发起一次选举，A和B分别投自己一票，交换选票信息，myid，A发现B的myid比A大，A的这一票转而投给B。只要通信保证，其他的修改不影响整个集群，每个组件可以独立的扩展，修改，降低组件之间的依赖性。
Docker容器化部署zookeeper+kafka集群详细步骤
wjianwei666的专栏
07-19 1068
背景介绍：为了测试使用kafka connect插件读取Oracle数据库日志从而达到实时获取Oracle数据库数据变化的目的，而搭建的三个节点的zookeeper+kafka集群，顺便将自己的步骤记录下来加深印象也希望能对大家有些许的帮助。至此，已经完成所有操作，可以通过kafka来进行一些测试了。以上应该有很多可以更加简便的操作或者不对的地方，如有发现还行大家指正，不胜感激。
使用 Docker-Compose 部署 ZooKeeper + Kafka + Kafka-UI
种一棵树最好的时间是十年前，其次是现在。
05-04 1429
使用 Docker-Compose来部署 Kafak + Zookeeper，有密码与无密码配置，使用 Kafka-UI 来连接 Kafak 集群；
徐老师大数据培训Hadoop+HBase+ZooKeeper+Spark+Kafka+Scala+Ambari
01-26
根据提供的标题、描述、标签及部分内容链接，我们可以推断出这是一个关于大数据技术栈的培训课程，涉及的技术包括Hadoop、HBase、Zookeeper、Spark、Kafka、Scala以及Ambari。下面将针对这些技术进行详细的介绍和...
使用docker快速搭建kafka
月夜楓
04-26 8303
1、kafka需要zookeeper管理，所以需要先安装zookeeper。 下载zookeeper镜像 $ docker pull wurstmeister/zookeeper 2、启动镜像生成容器 ## docker run -d --name zookeeper -p 2181:2181 -v /etc/localtime:/etc/localtime wurstmeister/zo...
kafka+zookeeper部署！
weixin_55496718的博客
10-01 544
kafka+zookeeper基本环境部署部署jdk环境部署zookeeperkafka部署 基本环境部署 设备准备： 节点 ip地址 部署服务 node1 192.168.118.44 jdk，kafka，zookeeper node2 192.168.118.55 jdk，kafka，zookeeper node3 192.168.118.66 jdk，kafka，zookeeper 环境准备，三台同时部署 ##关闭防火墙 systemctl stop firewa
kafka连接zookeeper配置搭建环境、安装和启动，Windows环境下
Zhang Phil
02-23 9863
kafka，分布式集群架构下，高性能的流式事件数据（主要是消息）集成、发布（生产）和订阅（分发、消费）组件（中间件）。 kafka依赖zooeeper（数据后端），这里有Windows下安装配置启动zookeeper的 文章（1）： Windows 10环境zookeeper单机伪集群部署和配置_Zhang Phil-CSDN博客Windows 10环境zookeeper单机伪集群部署和配置1，首先到zookeeper项目主页地址下载项目包，https://archive.apache.org/dist
zookeeper+kafka
dyy
01-18 220
Zookeeper集群搭建 http://www.cnblogs.com/luotianshuai/p/5206662.html Kafka集群是把状态保存在Zookeeper中的，首先要搭建Zookeeper集群。 192.168.0.68 192.168.0.69 192.168.0.110 1、Linux服务器一台、三台、五台、（2*n+1），Zookeeper集群的工作是超过...
在k8s上部署 zookeeper + kafka 集群 配置教程
06-13
好的，以下是一个基本的在k8s上部署zookeeper + kafka集群的配置教程： 1. 创建一个namespace 首先，我们需要创建一个namespace，用于部署zookeeper和kafka集群。可以使用以下命令创建一个名为“zookeeper-kafka”...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值